flax-sentence-embeddings/reddit_single-context_mpnet-base
El proyecto tiene como objetivo entrenar modelos de incrustación de oraciones en conjuntos de datos a nivel de oraciones muy grandes utilizando un objetivo de aprendizaje contrastivo auto-supervisado. Usamos el modelo preentrenado 'mpnet-base' y lo ajustamos con un conjunto de datos de 700M pares de oraciones. Utilizamos un objetivo de aprendizaje contrastivo: dada una oración del par, el modelo debe predecir cuál de un conjunto de otras oraciones muestreadas al azar fue realmente emparejada con ella en nuestro conjunto de datos. Desarrollamos este modelo durante la semana de la comunidad usando JAX/Flax para NLP y CV, organizada por Hugging Face. Desarrollamos este modelo como parte del proyecto: Entrena el mejor modelo de incrustación de oraciones de la historia con 1B pares de entrenamiento. Nos beneficiamos de una infraestructura de hardware eficiente para ejecutar el proyecto: 7 TPUs v3-8, así como la intervención de miembros del equipo de Flax, JAX y Cloud de Google sobre marcos eficientes de aprendizaje profundo.
Como usar
Aquí se muestra cómo utilizar este modelo para obtener las características de un texto dado utilizando la biblioteca SentenceTransformers:
from sentence_transformers import SentenceTransformer
model = SentenceTransformer('flax-sentence-embeddings/reddit_single-context_mpnet-base')
text = "Replace me by any text you'd like."
text_embbedding = model.encode(text)
# array([-0.01559514, 0.04046123, 0.1317083 , 0.00085931, 0.04585106,
# -0.05607086, 0.0138078 , 0.03569756, 0.01420381, 0.04266302 ...],
# dtype=float32)
Funcionalidades
- transformadores de oraciones
- aprendizaje contrastivo
- entrada: oración, salida: vector semántico
- pytorch
- extracción de características
- compatible con AutoTrain
- compatibilidad con puntos finales de inferencia
Casos de uso
- codificador de oraciones
- recuperación de información
- agrupamiento de oraciones
- tareas de similitud de oraciones