Llama2 7B Guanaco QLoRA - GGUF
TheBloke
Clasificación de texto
Este repositorio contiene archivos de formato GGUF para el modelo Llama2 7B Guanaco QLoRA de Mikael10. GGUF es un nuevo formato introducido por el equipo de llama.cpp el 21 de agosto de 2023. Es un reemplazo de GGML y ofrece numerosas ventajas como mejor tokenización y soporte para tokens especiales. Los archivos GGUF están diseñados para ser extensibles y soportan metadatos. El modelo ha sido finetuneado desde el modelo base Llama-7b usando los scripts oficiales de entrenamiento encontrados en el repositorio de QLoRA.
Como usar
Instrucciones de uso
Cómo ejecutar el modelo en text-generation-webui
1. Bajo Descargar Modelo, introduzca el repositorio del modelo: TheBloke/llama-2-7B-Guanaco-QLoRA-GGUF y a continuación, un nombre específico de archivo para descargar, por ejemplo: llama-2-7b-guanaco-qlora.q4_K_M.gguf.
2. Luego haga clic en Descargar.
Cómo ejecutar el modelo desde código Python
from ctransformers import AutoModelForCausalLM
# Establezca gpu_layers al número de capas para descargar a la GPU. Establezca en 0 si no hay aceleración de GPU disponible en su sistema.
llm = AutoModelForCausalLM.from_pretrained("TheBloke/llama-2-7B-Guanaco-QLoRA-GGUF", model_file="llama-2-7b-guanaco-qlora.q4_K_M.gguf", model_type="llama", gpu_layers=50)
print(llm("AI is going to"))
Funcionalidades
- Clasificación de texto
- Transformadores
- Generación de texto
- Compatibilidad con múltiples métodos de cuantización
- Soporte extensible para metadatos
Casos de uso
- Generación de texto
- Clasificación de texto
- Chat basado en la inteligencia artificial
- Modelado de idioma para storytelling