textattack/albert-base-v2-CoLA

El modelo TextAttack Albert Base v2 fue afinado utilizando la biblioteca nlp y el conjunto de datos glue. Fue entrenado durante 5 épocas con un tamaño de lote de 32, una tasa de aprendizaje de 3e-05 y una longitud máxima de secuencia de 128. Dado que esta era una tarea de clasificación, el modelo fue entrenado con una función de pérdida de entropía cruzada. La mejor puntuación que el modelo logró en esta tarea fue 0.8245445829338447, medida por la precisión en el conjunto de evaluación, encontrada después de 2 épocas.