roberta-base_ms-marco_mod

Este modelo es una versión ajustada de roberta-base en el conjunto de datos generator. Logra los siguientes resultados en el conjunto de evaluación: Pérdida: 3.5359. Se utilizaron los siguientes hiperparámetros durante el entrenamiento: tasa de aprendizaje de 3e-05, tamaño de lote de 16 para entrenamiento y evaluación, semilla de 42, optimizador Adam con betas=(0.9,0.999) y epsilon=1e-08, tipo de scheduler de tasa de aprendizaje: lineal, y número de épocas: 2. Las versiones del framework utilizadas fueron: Transformers 4.27.4, Pytorch 2.0.0+cu118, Datasets 2.11.0, y Tokenizers 0.13.3.