elgeish/cs224n-squad2.0-albert-base-v2
El objetivo de este modelo es ahorrar tiempo de GPU a los estudiantes de CS224n al establecer líneas base para superar en el Proyecto Final Predeterminado. El conjunto de entrenamiento utilizado para afinar este modelo es el mismo que el oficial; sin embargo, la evaluación y la selección del modelo se realizaron utilizando aproximadamente la mitad del conjunto de desarrollo oficial, 6078 ejemplos, seleccionados al azar. Los archivos de datos se pueden encontrar en https://github.com/elgeish/squad/tree/master/data — esta es la versión de Invierno 2020. Dado que el conjunto de desarrollo oficial de SQuAD2.0 contiene el conjunto de prueba del proyecto, los estudiantes deben asegurarse de no utilizar el conjunto de desarrollo oficial de SQuAD2.0 de ninguna manera — incluyendo el uso de modelos afinados en el SQuAD2.0 oficial, ya que utilizaron el conjunto de desarrollo oficial de SQuAD2.0 para la selección de modelos.
Como usar
{
"do_lower_case": true,
"doc_stride": 128,
"fp16": false,
"fp16_opt_level": "O1",
"gradient_accumulation_steps": 24,
"learning_rate": 3e-05,
"max_answer_length": 30,
"max_grad_norm": 1,
"max_query_length": 64,
"max_seq_length": 384,
"model_name_or_path": "albert-base-v2",
"model_type": "albert",
"num_train_epochs": 3,
"per_gpu_train_batch_size": 8,
"save_steps": 5000,
"seed": 42,
"train_batch_size": 8,
"version_2_with_negative": true,
"warmup_steps": 0,
"weight_decay": 0
}
Funcionalidades
- exact: 78.94044093451794
- f1: 81.7724930324639
- total: 6078
- HasAns_exact: 76.28865979381443
- HasAns_f1: 82.20385314478195
- HasAns_total: 2910
- NoAns_exact: 81.37626262626263
- NoAns_f1: 81.37626262626263
- NoAns_total: 3168
- best_exact: 78.95689371503784
- best_exact_thresh: 0.0
- best_f1: 81.78894581298378
- best_f1_thresh: 0.0
Casos de uso
- Ahorro de tiempo de GPU para estudiantes
- Establecer líneas base para superar en proyectos finales
- Evaluaciones y selección de modelos