Llama-2-7b-chat-hf-finedtuned-to-GGUF
vishanoberoi
Pregunta y respuesta
Este modelo es una versión ajustada de Llama-2-Chat-7b en datos de preguntas y respuestas específicos de la empresa. Está diseñado para un rendimiento eficiente mientras mantiene una salida de alta calidad, adecuado para aplicaciones de IA conversacional. Fue afinado utilizando QLORA y PEFT. Después del ajuste, los adaptadores se fusionaron con el modelo base y luego se cuantificaron a GGUF.
Como usar
from ctransformers import AutoModelForCausalLM, AutoTokenizer
llm = AutoModelForCausalLM.from_pretrained("vishanoberoi/Llama-2-7b-chat-hf-finedtuned-to-GGUF", model_file="finetuned.gguf", model_type="llama", gpu_layers = 50, max_new_tokens = 2000, temperature = 0.2, top_k = 40, top_p = 0.6, context_length = 6000)
system_prompt = "<<SYS>> You are a useful bot... "
user_prompt = "Tell me about your company"
full_prompt = f"{system_prompt}\n[INST]{user_prompt}[/INST]"
response = llm(full_prompt)
print(response)
Funcionalidades
- Modelo ajustado utilizando QLORA y PEFT
- Adaptadores fusionados con el modelo base
- Cuantificado a GGUF
- Eficiente rendimiento
- Salida de alta calidad
Casos de uso
- Uso en IA conversacional
- Generación de respuestas basadas en datos específicos de la empresa
- Bots de servicio al cliente
- Bots de preguntas frecuentes
- Aplicaciones que requieren respuestas precisas y contextualmente relevantes