Muennighoff/SGPT-125M-weightedmean-nli-bitfit
Muennighoff
Similitud de oraciones
SGPT-125M-weightedmean-nli-bitfit es un modelo de transformers basado en PyTorch de Hugging Face para la similitud de frases. Este modelo está diseñado para la extracción de características y la generación de embeddings de frases utilizando la arquitectura GPTNeoModel y el método Pooling con parámetros personalizados. Ofrece características avanzadas para tareas de clasificación, minería de texto bilingüe y búsqueda semántica.
Como usar
Para instrucciones de uso, consulte nuestro repositorio de código:
https://github.com/Muennighoff/sgpt
Código de Entrenamiento del Modelo
# Los parámetros de entrenamiento del modelo son los siguientes:
DataLoader:
sentence_transformers.datasets.NoDuplicatesDataLoader.NoDuplicatesDataLoader de longitud 8807 con parámetros:
{'batch_size': 64}
Loss:
sentence_transformers.losses.MultipleNegativesRankingLoss.MultipleNegativesRankingLoss con parámetros:
{'scale': 20.0, 'similarity_fct': 'cos_sim'}
Parameters of the fit()-Method:
{
"epochs": 1,
"evaluation_steps": 880,
"evaluator": "sentence_transformers.evaluation.EmbeddingSimilarityEvaluator.EmbeddingSimilarityEvaluator",
"max_grad_norm": 1,
"optimizer_class": "",
"optimizer_params": {
"lr": 0.0002
},
"scheduler": "WarmupLinear",
"steps_per_epoch": null,
"warmup_steps": 881,
"weight_decay": 0.01
}
Funcionalidades
- Basado en arquitectura GPTNeoModel
- Uso de Pooling con modo de ponderación de tokens
- Extracción avanzada de características
- Generación de embeddings de frases
- Soporta múltiples idiomas
- Compatibilidad con AutoTrain
- Evaluación de similitud de frases
Casos de uso
- Clasificación de frases
- Extracción de características para análisis de texto
- Sistemas de recomendación basados en similitud de frases
- Minería de texto bilingüe
- Evaluación de precisión y recuperación en tareas de búsqueda semántica