e5-base-v2-gguf

Ejemplo de Uso con llama.cpp

./embedding -ngl 99 -m [filepath-to-gguf].gguf -p 'search_query: What is TSNE?'

Puedes enviar un lote de textos para incrustar, siempre y cuando el número total de tokens no exceda la longitud del contexto. Solo se muestran las tres primeras embebiciones en el ejemplo. texts.txt:

search_query: What is TSNE?
search_query: Who is Laurens Van der Maaten?

Computar múltiples embebiciones:

./embedding -ngl 99 -m [filepath-to-gguf].gguf -f texts.txt

Ejemplo de Uso con LM Studio

Descargue la versión beta 0.2.19 desde aquí: Windows MacOS Linux

Una vez instalado, abra la aplicación. La página de inicio debería verse así:

Busque 'ChristianAzinn' en la barra de búsqueda principal o vaya a la pestaña 'Search' en el menú de la izquierda y busque el nombre allí.

Seleccione su modelo de los que aparecen (este ejemplo utiliza bge-small-en-v1.5-gguf) y seleccione la cuantización que desea descargar.

Verá una marca de verificación verde y la palabra 'Downloaded' una vez que el modelo se haya descargado correctamente. Una vez que este modelo haya terminado de descargarse, navegue a la pestaña 'Local Server' en el menú de la izquierda, y abra el cargador para modelos de embebido de texto.

Seleccione el modelo que acaba de descargar del menú desplegable.

Todo lo que queda por hacer es presionar el botón 'Start Server'. Y si ve texto como el que se muestra a continuación en la consola, ¡está listo! Puede usar esto como un reemplazo directo para la API de embebidos de OpenAI.

Ejemplo de solicitud curl al endpoint de la API:

curl http://localhost:1234/v1/embeddings \
-H "Content-Type: application/json" \
-d '{
"input": "Your text string goes here",
"model": "model-identifier-here"
}'