Lustyrobo/results
Lustyrobo
Pregunta y respuesta
Este modelo basado en 'Llama-2-7b-hf' de NousResearch está diseñado para tareas de respuesta a preguntas (question-answering). Utiliza la biblioteca PEFT y se ha configurado para realizar cuantización de bitsandbytes durante el entrenamiento. El modelo no es compatible con el API de inferencia sin servidor para este tipo de pipeline.
Como usar
Para usar este modelo, asegúrate de seguir los detalles de configuración de cuantización proporcionados. El fragmento de configuración es el siguiente:
load_in_8bit: False
load_in_4bit: True
llm_int8_threshold: 6.0
llm_int8_skip_modules: None
llm_int8_enable_fp32_cpu_offload: False
llm_int8_has_fp16_weight: False
bnb_4bit_quant_type: nf4
bnb_4bit_use_double_quant: False
bnb_4bit_compute_dtype: float16
Funcionalidades
- Cuantización de bitsandbytes configurada durante el entrenamiento
- Soporte para PEFT 0.4.0
- Dirigido a tareas de respuesta a preguntas
- Basado en el modelo 'Llama-2-7b-hf' de NousResearch
Casos de uso
- Responder preguntas basadas en un contexto dado
- Obtener información específica de un texto
- Automatizar tareas de preguntas frecuentes