modelo-ajustado-roberta-base-squad2-para-datos-de-seguros

sprateek

Pregunta y respuesta

Este modelo es una versión ajustada de deepset/roberta-base-squad2 en el conjunto de datos None. Logra los siguientes resultados en el conjunto de evaluación: Pérdida: 2.8120.

Como usar

Los siguientes hiperparámetros se utilizaron durante el entrenamiento:
learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam con betas=(0.9,0.999) y epsilon=1e-08
lr_scheduler_type: lineal
num_epochs: 8

Resultados del Entrenamiento
| Epoch | Paso | Pérdida de Validación |
|-------|------|-----------------------|
| 1.0   | 22   | 2.4963                |
| 2.0   | 44   | 2.4585                |
| 3.0   | 66   | 2.4411                |
| 4.0   | 88   | 2.4786                |
| 5.0   | 110  | 2.6450                |
| 6.0   | 132  | 2.6954                |
| 7.0   | 154  | 2.7662                |
| 8.0   | 176  | 2.8120                |

Versiones del Framework

Transformers 4.30.2
Pytorch 2.0.1+cu118
Conjuntos de Datos 2.12.0
Tokenizadores 0.13.3

Funcionalidades

Transformers
PyTorch
TensorBoard
roberta
Answerado de Preguntas
Generado desde el entrenador
Compatibilidad con puntos finales
Licencia: cc-by-4.0
Región: US

Casos de uso

Responder preguntas basado en datos de seguros