Jechto/e5-dansk-test-0.1

Uso del modelo (Sentence-Transformers):

pip install -U sentence-transformers

from sentence_transformers import SentenceTransformer
sentences = ["Dette er en dansk sætning", "Dette er en også en dansk sætning"]

model = SentenceTransformer('Jechto/e5-dansk-test-0.1')
embeddings = model.encode(sentences)
print(embeddings)

El modelo fue entrenado con los parámetros:

DataLoader:

sentence_transformers.datasets.NoDuplicatesDataLoader.NoDuplicatesDataLoader de longitud 10327 con parámetros:
{'batch_size': 16}

Pérdida:

sentence_transformers.losses.MultipleNegativesRankingLoss.MultipleNegativesRankingLoss con parámetros:
{'scale': 20.0, 'similarity_fct': 'cos_sim'}

Parámetros del método fit():

{
  'epochs': 1,
  'evaluation_steps': 2000,
  'evaluator': 'sentence_transformers.evaluation.BinaryClassificationEvaluator.BinaryClassificationEvaluator',
  'max_grad_norm': 1,
  'optimizer_class': '',
  'optimizer_params': {
    'lr': 1e-05
  },
  'scheduler': 'warmupconstant',
  'steps_per_epoch': null,
  'warmup_steps': 10000,
  'weight_decay': 0.01
}

Arquitectura completa del modelo:

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) con modelo Transformer: XLMRobertaModel
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False})
  (2): Normalize()
)