fine_tune_llm

SaiSaketh

Pregunta y respuesta

Este modelo es una versión ajustada de distilbert/distilbert-base-uncased en un conjunto de datos desconocido. Alcanza los siguientes resultados en el conjunto de evaluación: Pérdida: 1.6567.

Como usar

Los siguientes hiperparámetros se utilizaron durante el entrenamiento:
learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam con betas=(0.9,0,999) y epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 3

Resultados del entrenamiento:

Pérdida de entrenamiento | Época | Paso | Pérdida de validación
--- | --- | --- | ---
Sin registro | 1.0 | 250 | 2.3832
2.7626 | 2.0 | 500 | 1.7746
2.7626 | 3.0 | 750 | 1.6567

Versiones de Framework:
- Transformers 4.38.2
- Pytorch 2.2.1+cu121
- Datasets 2.18.0
- Tokenizers 0.15.2

Funcionalidades

Respuesta a preguntas
Transformadores
TensorBoard
Safetensors

Casos de uso

Respuesta a preguntas
Casos de uso que necesitan capacidades de comprensión y generación de lenguaje natural