flax-sentence-embeddings/all_datasets_v4_MiniLM-L12
El proyecto tiene como objetivo entrenar modelos de incrustaciones de oraciones en conjuntos de datos a nivel de oración muy grandes utilizando un objetivo de aprendizaje contrastivo auto-supervisado. Usamos el modelo 'MiniLM-L12' preentrenado y lo afinamos en un conjunto de datos de 1B pares de oraciones. Utilizamos un objetivo de aprendizaje contrastivo: dada una oración del par, el modelo debe predecir cuál de un conjunto de otras oraciones muestreadas aleatoriamente fue en realidad emparejada con ella en nuestro conjunto de datos. Desarrollamos este modelo durante la semana de la comunidad utilizando JAX/Flax para NLP y CV, organizado por Hugging Face. Desarrollamos este modelo como parte del proyecto: Entrenar el Mejor Modelo de Incrustaciones de Oraciones Jamás con 1B Pares de Entrenamiento. Nos beneficiamos de una infraestructura de hardware eficiente para ejecutar el proyecto: 7 TPUs v3-8, así como la intervención de miembros del equipo de Flax, JAX y Cloud de Google acerca de marcos eficientes de aprendizaje profundo.
Como usar
Aquí está cómo usar este modelo para obtener las características de un texto dado usando la biblioteca SentenceTransformers:
from sentence_transformers import SentenceTransformer
model = SentenceTransformer('flax-sentence-embeddings/all_datasets_v4_MiniLM-L12')
text = "Reemplaza esto por cualquier texto que te guste."
text_embbedding = model.encode(text)
# array([-0.01559514, 0.04046123, 0.1317083 , 0.00085931, 0.04585106,
# -0.05607086, 0.0138078 , 0.03569756, 0.01420381, 0.04266302 ...],
# dtype=float32)
Funcionalidades
- PyTorch
- bert
- extracción de características
- inferencia de incrustaciones de texto
- Puntos finales de inferencia
- basado en SentenceTransformers
Casos de uso
- Codificación de oraciones
- Recuperación de información
- Agrupamiento
- Tareas de similitud de oraciones