mbateman/distilbert-base-uncased-finetuned-squad-d5716d28

Este modelo replica el modelo 'DistilBERT (D)' de la Tabla 2 del artículo de DistilBERT. En este enfoque, un estudiante de DistilBERT es ajustado en el conjunto de datos SQuAD v1.1, pero con un modelo de BERT (también ajustado en el conjunto de datos SQuAD v1.1) actuando como maestro para un segundo paso de destilación específica de tarea. En esta versión, se utilizaron los siguientes modelos preentrenados: Estudiante: distilbert-base-uncased, Maestro: lewtun/bert-base-uncased-finetuned-squad-v1.