lodestone-base-4096-v1

Este nuevo modelo de sentence-transformers de Hum mapea oraciones largas y párrafos a un espacio vectorial denso de 768 dimensiones y puede usarse para tareas como agrupamiento o búsqueda semántica. El modelo fue desarrollado como parte de un proyecto que busca aumentar la longitud máxima de secuencia de entrada de los modelos de embeddings de oraciones aprovechando los avances recientes en el diseño de modelos de transformadores, como la incorporación de FlashAttention, Attention with Linear Biases (ALiBi) y Gated Linear Units (GLU). Estas modificaciones y mejoras fueron implementadas por el equipo de MosaicML que diseñó y construyó el modelo preentrenado mosaic-bert-base-seqlen-2048. Aunque el procedimiento de fine-tuning seguido durante el curso de este proyecto refleja en gran medida el de los equipos originales de Flax-sentence-embeddings, nuestra metodología incluye técnicas novedosas para la carga de datos, muestreo en lotes y checkpointing del modelo, destinadas a mejorar la eficiencia del entrenamiento en cuanto a la asignación de memoria y el almacenamiento de datos. Combinando estas prácticas de fine-tuning bien establecidas y probadas con los avances recientes en los elementos arquitectónicos de los transformadores, nuestro modelo lodestone-base-4096-v1 es capaz de lograr métricas de rendimiento comparables en benchmarks estándar de evaluación de embeddings de texto, al tiempo que soporta una longitud de secuencia de entrada más larga y robusta de 4096, manteniendo un tamaño más pequeño y manejable, capaz de ejecutarse en una GPU o CPU.