albert_v2_lookup_spending_category

kranasian

Pregunta y respuesta

Este modelo es una versión afinada de Palak/albert-base-v2_squad en un conjunto de datos desconocido. Alcanza los siguientes resultados en el conjunto de evaluación: Pérdida: 0.0406

Como usar

Los siguientes hiperparámetros se utilizaron durante el entrenamiento:
learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam con betas=(0.9,0.999) y epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 12

Resultados de Entrenamiento:
Pérdida de Entrenamiento
Epoch
Step
Pérdida de Validación
No log 1.0 84 0.0321
No log 2.0 168 0.0358
No log 3.0 252 0.0372
No log 4.0 336 0.0381
No log 5.0 420 0.0388
0.0064 6.0 504 0.0393
0.0064 7.0 588 0.0398
0.0064 8.0 672 0.0401
0.0064 9.0 756 0.0403
0.0064 10.0 840 0.0405
0.0064 11.0 924 0.0406
0.0 12.0 1008 0.0406

Versiones del Framework:
Transformers 4.41.2
Pytorch 2.3.0+cu121
Datasets 2.19.2
Tokenizers 0.19.1

Funcionalidades

fine-tuned de Palak/albert-base-v2_squad
Pérdida en el conjunto de evaluación: 0.0406
Aprendizaje automático aplicado a datos desconocidos

Casos de uso

Responde preguntas basadas en contexto específico
Ayuda en la categorización de gastos
Investigación y análisis de datos financieros