e5-small-v2-gguf
Este repositorio contiene archivos en formato GGUF para el modelo de incrustación e5-small-v2. Estos archivos fueron convertidos y cuantizados con llama.cpp PR 5500, commit 34aa045de, en una RTX 4090 para consumidores. Este modelo soporta hasta 512 tokens de contexto. Las incrustaciones de texto se obtuvieron mediante preentrenamiento contrastivo débilmente supervisado. Liang Wang, Nan Yang, Xiaolong Huang, Binxing Jiao, Linjun Yang, Daxin Jiang, Rangan Majumder, Furu Wei, arXiv 2022. Este modelo tiene 12 capas y el tamaño de la incrustación es de 384.
Como usar
Ejemplo de uso con llama.cpp
Para calcular una sola incrustación, compila llama.cpp y ejecuta:
./embedding -ngl 99 -m [ruta-al-archivo-gguf].gguf -p 'search_query: What is TSNE?'
También puedes enviar un lote de textos para incrustar, siempre y cuando el número total de tokens no exceda la longitud del contexto. Solo se muestran las primeras tres incrustaciones en el ejemplo de incrustaciones.
texts.txt:
search_query: What is TSNE?
search_query: Who is Laurens Van der Maaten?
Calcula múltiples incrustaciones:
./embedding -ngl 99 -m [ruta-al-archivo-gguf].gguf -f texts.txt
Ejemplo de uso con LM Studio
Descarga la versión beta 0.2.19 desde aquí: Windows MacOS Linux
Una vez instalado, abre la aplicación. La página de inicio debería verse así:
Busca
Funcionalidades
- Archivos en formato GGUF para el modelo e5-small-v2
- Soporta hasta 512 tokens de contexto
- Compatible con llama.cpp a partir del commit 4524290e8 y con LM Studio a partir de la versión 0.2.19
Casos de uso
- Generación de incrustaciones de texto para tareas de similitud de oraciones.
- Uso en aplicaciones de búsqueda de información y consultas semánticas.
- Reemplazo para la API de incrustaciones de OpenAI en aplicaciones que lo requieran.