multi-qa_v1-MiniLM-L6-cls_dot

SentenceTransformers es un conjunto de modelos y marcos que permiten entrenar y generar incrustaciones de oraciones a partir de datos dados. Las incrustaciones de oraciones generadas se pueden utilizar para Clustering, Búsqueda Semántica y otras tareas. Usamos un modelo preentrenado nreimers/MiniLM-L6-H384-uncased y lo entrenamos usando una configuración de Red Siamesa y un objetivo de aprendizaje contrastivo. Se utilizaron pares de preguntas y respuestas de StackExchange como datos de entrenamiento para hacer que el modelo sea robusto a la similitud de incrustaciones de Preguntas/Respuestas. Para este modelo, se utilizó la salida cls en lugar de la media de pooling como incrustaciones de oración. El producto punto se utilizó para calcular la similitud para el objetivo de aprendizaje. Desarrollamos este modelo durante la semana de la Comunidad usando JAX/Flax para NLP y CV, organizada por Hugging Face. Desarrollamos este modelo como parte del proyecto: Entrenar el Mejor Modelo de Incrustación de Oraciones de Todos los Tiempos con 1B Pares de Entrenamiento. Nos beneficiamos de una infraestructura de hardware eficiente para ejecutar el proyecto: 7 TPUs v3-8, así como asistencia de los miembros del equipo de Google’s Flax, JAX y Cloud sobre marcos de deep learning eficientes.