distilbert-base-multilingual-cased-finetuned-squad

monakth

Pregunta y respuesta

Este modelo es una versión afinada de distilbert-base-multilingual-cased en el conjunto de datos squad. Este modelo es un modelo de transformers, específicamente de tipo DistilBERT, que ha sido ajustado con el conjunto de datos SQuAD para realizar tareas de respuesta a preguntas. Utiliza PyTorch y puede ser monitorizado con TensorBoard.

Como usar

Los siguientes hiperparámetros fueron utilizados durante el entrenamiento:
learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam con betas=(0.9,0.999) y epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 3

Métricas de entrenamiento:
Pérdida de entrenamiento
Época
Paso
Pérdida de validación

1.2983
1.0
5555
1.2202

1.0252
2.0
11110
1.1583

0.8078
3.0
16665
1.1954

Versiones de frameworks utilizados:
Transformers 4.22.1
Pytorch 1.12.1+cu113
Datasets 2.5.1
Tokenizers 0.12.1

Funcionalidades

Respuesta a preguntas
Transformers
PyTorch
TensorBoard
Generado desde Trainer
Puntos de inferencia

Casos de uso

Respuesta a preguntas basada en texto
Búsqueda de información en texto
Asistentes virtuales
Interfaces de usuario interactivas