xtremedistil-l6-h384-go-emotion
bergum
Clasificación de texto
Este modelo es una versión ajustada de microsoft/xtremedistil-l6-h384-uncased en el conjunto de datos go_emotions. Este modelo está desplegado en aiserv.cloud para una demostración en vivo del modelo. Ver https://github.com/jobergum/browser-ml-inference para cómo reproducir.
Como usar
Hiperparámetros de entrenamiento
batch size: 128
learning_rate: 3e-05
epocas: 4
Cantidad de ejemplos: 211225
Epocas: 4
Tamaño del batch instantáneo por dispositivo: 128
Tamaño total del batch de entrenamiento (con paralelo, distribución y acumulación): 128
Pasos de acumulación de gradiente: 1
Pasos totales de optimización: 6604
Step Training Loss
500 0.263200
1000 0.156900
1500 0.152500
2000 0.145400
2500 0.140500
3000 0.135900
3500 0.132800
4000 0.129400
4500 0.127200
5000 0.125700
5500 0.124400
6000 0.124100
6500 0.123400
Funcionalidades
- Clasificación de texto
- Transformers
- PyTorch
- Safetensors
Casos de uso
- Clasificación de emociones en textos
- Análisis de sentimientos
- Monitoreo de emociones en servicios de atención al cliente