flax-sentence-embeddings/all_datasets_v3_roberta-large

El proyecto tiene como objetivo entrenar modelos de incrustación de oraciones en conjuntos de datos a nivel de oraciones muy grandes utilizando un objetivo de aprendizaje contrastivo auto-supervisado. Usamos el modelo roberta-large preentrenado y lo afinamos en un conjunto de datos de 1B pares de oraciones. Usamos un objetivo de aprendizaje contrastivo: dada una oración del par, el modelo debe predecir cuál de un conjunto de otras oraciones muestreadas aleatoriamente fue realmente emparejada con ella en nuestro conjunto de datos. Desarrollamos este modelo durante la Semana de la Comunidad utilizando JAX/Flax para NLP y CV, organizada por Hugging Face, como parte del proyecto Entrenar el Mejor Modelo de Incrustación de Oraciones de Todos los Tiempos con 1B Pares de Entrenamiento. Nos beneficiamos de una infraestructura de hardware eficiente para ejecutar el proyecto: 7 TPUs v3-8, así como de la intervención de miembros del equipo de Flax, JAX y Cloud de Google sobre marcos eficientes de aprendizaje profundo.