textattack/roberta-base-ag-news

Este modelo roberta-base fue ajustado para la clasificación de secuencias utilizando TextAttack y el conjunto de datos ag_news cargado usando la biblioteca nlp. El modelo fue ajustado durante 5 épocas con un tamaño de lote de 16, una tasa de aprendizaje de 5e-05 y una longitud máxima de secuencia de 128. Dado que esta era una tarea de clasificación, el modelo fue entrenado con una función de pérdida de entropía cruzada. El mejor puntaje que el modelo logró en esta tarea fue 0.9469736842105263, medido por la precisión del conjunto de evaluación, encontrado después de 4 épocas. Para más información, consulta TextAttack en Github.