DavidAU/DistiLabelOrca-TinyLLama-1.1B-Q8_0-GGUF

DavidAU

Pregunta y respuesta

Este modelo fue convertido al formato GGUF desde eren23/DistiLabelOrca-TinyLLama-1.1B usando llama.cpp a través del espacio GGUF-my-repo de ggml.ai. Consulte la tarjeta de modelo original para más detalles sobre el modelo.

Como usar

Instalar llama.cpp a través de brew.
brew install ggerganov/ggerganov/llama.cpp

Invocar el servidor llama.cpp o la CLI.
CLI:
llama-cli --hf-repo DavidAU/DistiLabelOrca-TinyLLama-1.1B-Q8_0-GGUF --model distilabelorca-tinyllama-1.1b.Q8_0.gguf -p "The meaning to life and the universe is"

Servidor:
llama-server --hf-repo DavidAU/DistiLabelOrca-TinyLLama-1.1B-Q8_0-GGUF --model distilabelorca-tinyllama-1.1b.Q8_0.gguf -c 2048

Nota: También puede usar este checkpoint directamente a través de los pasos de uso listados en el repositorio Llama.cpp.
git clone https://github.com/ggerganov/llama.cpp && cd llama.cpp && make && ./main -m distilabelorca-tinyllama-1.1b.Q8_0.gguf -n 128

Funcionalidades

Pregunta y respuesta
Transformers
GGUF

Casos de uso

Responder preguntas
Desarrollar aplicaciones de inteligencia artificial
Implementaciones en puntos de inferencia dedicados