llama-7b-rm-float32

Este modelo fue entrenado desde cero en un conjunto de datos desconocido utilizando los siguientes hiperparámetros:

learning_rate: 5e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Adam con betas=(0.9,0.999) y epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 3.0

Versión de los frameworks:

Transformers 4.35.2
Pytorch 2.1.1+cu121
Datasets 2.15.0
Tokenizers 0.15.0