distilbert-base-uncased-distilled-clinc
transformersbook
Clasificación de texto
Este modelo es una versión finamente ajustada con destilación del conocimiento de distilbert-base-uncased en el conjunto de datos clinc_oos. El modelo se utiliza en el Capítulo 8: Haciendo Eficientes a los Transformadores en Producción del libro NLP con Transformadores. Puede encontrar el código completo en el repositorio de Github adjunto. Logra los siguientes resultados en el conjunto de evaluación: Pérdida: 0.1005 Precisión: 0.9394
Como usar
Las siguientes hiperparámetros fueron utilizados durante el entrenamiento:
learning_rate: 2e-05
train_batch_size: 48
eval_batch_size: 48
seed: 42
optimizer: Adam con betas=(0.9,0.999) y epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 10
Resultados del entrenamiento:
| Pérdida Entrenamiento | Época | Paso | Pérdida Validación | Precisión |
|-----------------------|-------|------|--------------------|-----------|
| 0.9031 | 1.0 | 318 | 0.5745 | 0.7365 |
| 0.4481 | 2.0 | 636 | 0.2856 | 0.8748 |
| 0.2528 | 3.0 | 954 | 0.1798 | 0.9187 |
| 0.176 | 4.0 | 1272 | 0.1398 | 0.9294 |
| 0.1416 | 5.0 | 1590 | 0.1211 | 0.9348 |
| 0.1243 | 6.0 | 1908 | 0.1116 | 0.9348 |
| 0.1133 | 7.0 | 2226 | 0.1062 | 0.9377 |
| 0.1075 | 8.0 | 2544 | 0.1035 | 0.9387 |
| 0.1039 | 9.0 | 2862 | 0.1014 | 0.9381 |
| 0.1018 | 10.0 | 3180 | 0.1005 | 0.9394 |
Versiones del framework:
- Transformers 4.11.3
- Pytorch 1.9.1+cu102
- Datasets 1.13.0
- Tokenizers 0.10.3
Funcionalidades
- Versión ajustada con destilación del conocimiento
- Utilizado en el libro NLP con Transformadores
- Alto rendimiento en precisión (0.9394) y pérdida (0.1005)
Casos de uso
- Clasificación de texto
- Mejora de aplicaciones NLP con alta precisión
- Implementaciones en producción eficientes