transformadores-de-oraciones-todo-mini-lm-l6-v2
El modelo de transformadores de oraciones es un modelo específico entrenado para encontrar similitudes entre oraciones. Este modelo es una bifurcación del modelo original all-MiniLM-L6-v2 y ha sido afinado utilizando un objetivo contrastivo para realizar comparaciones entre pares de oraciones y calcular similitudes utilizando la similitud coseno. Se recomienda usar este modelo para tareas de extracción de características y generación de incrustaciones de texto.
Como usar
Afinar el modelo usando un objetivo contrastivo.
Calcular la similitud coseno de cada par de oraciones posible del lote.
Luego aplicar la pérdida de entropía cruzada comparando con los pares verdaderos.
Parámetros de entrenamiento:
- Entrenar el modelo durante 100k pasos usando un tamaño de lote de 1024 (128 por núcleo TPU).
- Utilizar una tasa de aprendizaje inicial de 500.
- Usar el optimizador AdamW con una tasa de aprendizaje de 2e-5.
El script completo de entrenamiento está disponible en este repositorio actual: train_script.py.
# Ejemplo de uso
from sentence_transformers import SentenceTransformer
model = SentenceTransformer('danielpark/sentence-transformers-all-mini-lm-l6-v2')
sentences = ['Esto es un ejemplo', 'Este es otro ejemplo']
embeddings = model.encode(sentences)
print(embeddings)
Funcionalidades
- Afinado con un objetivo contrastivo
- Cálculo de la similitud coseno entre pares de oraciones
- Uso del optimizador AdamW con una tasa de aprendizaje de 2e-5
- Secuencia limitada a 128 tokens
- Tamaño del modelo: 80MB
Casos de uso
- Extracción de características
- Generación de incrustaciones de texto
- Búsqueda semántica
- Análisis de similitud entre oraciones