bert-base-uncased-finetuned-squad-frozen-v2

ericRosello

Pregunta y respuesta

Este modelo es una versión afinada de bert-base-uncased en el conjunto de datos SQuAD. La mayoría de los pesos del modelo base estaban congelados, dejando solo para afinar la última capa (resultados de preguntas y respuestas) y las 3 últimas capas del codificador. El modelo alcanza los siguientes resultados en el conjunto de evaluación: Pérdida: 1.4571

Como usar

Procedimiento de entrenamiento
Los siguientes hiperparámetros fueron utilizados durante el entrenamiento:
learning_rate: 2e-05
train_batch_size: 2
eval_batch_size: 2
seed: 42
optimizer: Adam con betas=(0.9,0.999) y epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 3

Resultados del entrenamiento
Pérdida de Entrenamiento
Época
Paso
Pérdida de Validación

1.2944
1.0
44262
1.3432

1.0152
2.0
88524
1.3450

1.0062
3.0
132786
1.4571

Funcionalidades

Generado por Trainer
Puntos finales de inferencia
Afina solo las últimas capas del modelo base
Entrenado y evaluado en el conjunto de datos SQuAD

Casos de uso

Sistema de preguntas y respuestas
Aplicaciones de comprensión del lenguaje natural