distilbert-base-uncased-squad

Este modelo es una versión ajustada de distilbert-base-uncased en el dataset SQuAD. Es un modelo de respuesta a preguntas que utiliza la arquitectura Transformers y está implementado en PyTorch. El modelo ha sido entrenado con los siguientes hiperparámetros: una tasa de aprendizaje de 2e-05, un tamaño de lote de entrenamiento de 8, un tamaño de lote de evaluación de 8, una semilla de 42, el optimizador Adam con betas=(0.9, 0.999) y epsilon=1e-08, un programador de tasa de aprendizaje tipo lineal, tres épocas de entrenamiento y entrenamiento de precisión mixta AMP nativa. Las versiones de los frameworks utilizados incluyen Transformers 4.16.2, Pytorch 1.10.0+cu111, Datasets 1.18.3 y Tokenizers 0.11.0. El dataset utilizado para entrenar el modelo es rajpurkar/squad.