ericRosello / distilbert-base-uncased-finetuned-squad-frozen-v2

ericRosello

Pregunta y respuesta

Este modelo es una versión finamente ajustada de distilbert-base-uncased en el conjunto de datos squad. La mayoría de los pesos del modelo base se congelaron, dejando solo la última capa (qa outputs) y las 3 últimas capas del codificador para ajuste fino. El modelo logra los siguientes resultados en el conjunto de evaluación: EM: 73.519394512772, F1: 82.71779517079237, Pérdida: 1.2104.

Como usar

Para utilizar este modelo puede seguir los siguientes pasos:
from transformers import AutoTokenizer, AutoModelForQuestionAnswering

tokenizer = AutoTokenizer.from_pretrained('ericRosello/distilbert-base-uncased-finetuned-squad-frozen-v2')

model = AutoModelForQuestionAnswering.from_pretrained('ericRosello/distilbert-base-uncased-finetuned-squad-frozen-v2')

Asegúrese de cargar y preprocesar sus datos correctamente antes de alimentar al modelo.

Funcionalidades

Pérdida: 1.2104
Resultados de EM: 73.519394512772
Resultados de F1: 82.71779517079237
Hiperparámetros de entrenamiento: tasa de aprendizaje: 2e-05, tamaño de lote de entrenamiento: 16, tamaño de lote de evaluación: 16, semilla: 42, optimizador: Adam con betas=(0.9,0.999) y epsilon=1e-08, tipo de programador de tasa de aprendizaje: lineal, número de épocas: 3
Versiones de framework utilizadas: Transformers 4.15.0, PyTorch 1.10.0+cu111, Datasets 1.17.0, Tokenizers 0.10.3

Casos de uso

Responder preguntas basándose en un conjunto de datos de texto.
Aplicaciones de chatbots que necesitan entender y responder a preguntas del usuario.