gte-Qwen2-1.5B-instruct-GGUF
second-state
Similitud de oraciones
gte-Qwen2-1.5B-instruct-GGUF es un modelo cuantizado que se ejecuta con LlamaEdge. Es un modelo orientado a la generación de texto y transformaciones de texto que aprovecha las capacidades de los transformadores. Está diseñado para la generación de texto, transformaciones y similitud de oraciones. Utiliza la plantilla de solicitud tipo embebidos y tiene un tamaño de contexto de 32000.
Como usar
El modelo se puede ejecutar como un servicio LlamaEdge usando el siguiente comando:
wasmedge --dir.:. --nn-preload default:GGML:AUTO:gte-Qwen2-1.5B-instruct-Q5_K_M.gguf \
llama-api-server.wasm \
--prompt-template embedding \
--ctx-size 32000 \
--model-name gte-Qwen2-1.5B-instruct
Además, el modelo cuenta con distintas versiones cuantizadas para diferentes casos de uso, cada una ajustada a distintos niveles de calidad y tamaños de bits.
Funcionalidades
- Modelo original: Alibaba-NLP/gte-Qwen2-1.5B-instruct
- Ejecutado con LlamaEdge
- Versión LlamaEdge: v0.12.2 y superiores
- Plantilla de solicitud: embedding
- Tamaño de contexto: 32000
- Modelos GGUF cuantizados disponibles
- Transformadores qwen2
- Generación de texto
- Transformaciones de texto
- Inferencia de embebidos de texto
Casos de uso
- Similitud de oraciones
- Generación de texto
- Transformaciones de texto