Llama3-Aloe-8B-Alpha-Q8_0-GGUF

hansmueller464

Pregunta y respuesta

Este modelo fue convertido al formato GGUF desde HPAI-BSC/Llama3-Aloe-8B-Alpha usando llama.cpp a través del espacio GGUF-my-repo de ggml.ai. Consulte la tarjeta del modelo original para obtener más detalles sobre el modelo.

Como usar

Uso con llama.cpp
Instale llama.cpp a través de brew.
brew install ggerganov/ggerganov/llama.cpp

Invoque el servidor llama.cpp o la CLI.
CLI:
llama-cli --hf-repo hansmueller464/Llama3-Aloe-8B-Alpha-Q8_0-GGUF --model llama3-aloe-8b-alpha.Q8_0.gguf -p "The meaning to life and the universe is"

Servidor:
llama-server --hf-repo hansmueller464/Llama3-Aloe-8B-Alpha-Q8_0-GGUF --model llama3-aloe-8b-alpha.Q8_0.gguf -c 2048

Nota: También puede usar este punto de control directamente a través de los pasos de uso listados en el repositorio de Llama.cpp.
git clone https://github.com/ggerganov/llama.cpp && cd llama.cpp && make && ./main -m llama3-aloe-8b-alpha.Q8_0.gguf -n 128

Funcionalidades

Conversión al formato GGUF
Compatibilidad con llama.cpp
Arquitectura de 8 bits Q8_0
Optimizado para tareas de preguntas y respuestas
Tamaño del modelo: 8.03B parámetros

Casos de uso

Responder preguntas en inglés en el campo de la biología y la medicina