Not-so-bright-AGI-MaziPana-Llama3-8B-v0.8-Guanaco-v1
yuriachermann
Pregunta y respuesta
Un modelo ajustado para la generación de respuestas humanas en aplicaciones conversacionales, como chatbots o asistentes virtuales. Fue desarrollado por Yuri Achermann y está basado en el modelo MaziyarPanahi/Llama-3-8B-Instruct-v0.8. Este modelo se entrenó utilizando el conjunto de datos 'timdettmers/openassistant-guanaco'. Incluye consideraciones éticas importantes debido a la posible herencia de sesgos presentes en los datos de entrenamiento.
Como usar
El procedimiento de entrenamiento utilizó los siguientes hiperparámetros:
learning_rate: 5e-06
train_batch_size: 8
eval_batch_size: 8
seed: 100
gradient_accumulation_steps: 4
total_train_batch_size: 8
optimizer: Adam con betas=(0.9,0.999) y epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_ratio: 0.05
Las versiones de los frameworks usados son:
PEFT==0.11.1
Transformers==4.41.2
Pytorch==2.1.0.post0+cxx11.abi
Datasets==2.19.2
Tokenizers==0.19.1
Evaluación
La plataforma de evaluación consiste en aceleradores Gaudi y CPUs Xeon ejecutando benchmarks de Eleuther AI Language Model Evaluation Harness.
Funcionalidades
- Aprendizaje profundo para generación de texto
- Parámetros de ajuste fino configurables
- Utiliza aceleradores Gaudi y CPUs Xeon para la evaluación
- Compatible con bibliotecas como PEFT, Transformers, y Pytorch
Casos de uso
- Generación de respuestas humanas para chatbots
- Asistentes virtuales conversacionales
- Aplicaciones de generación de texto