tiny-bert-sst2-distilled
philschmid
Clasificación de texto
Este modelo es una versión afinada de google/bert_uncased_L-2_H-128_A-2 en el conjunto de datos glue. Logra los siguientes resultados en el conjunto de evaluación: Pérdida: 1.7305, Precisión: 0.8326
Como usar
El siguiente conjunto de hiperparámetros se utilizó durante el entrenamiento:
tasa de aprendizaje: 0.0007199555649276667
lote de entrenamiento: 1024
lote de evaluación: 1024
semilla: 33
optimizador: Adam con betas=(0.9,0.999) y epsilon=1e-08
tipo de planificador de lr: lineal
número de épocas: 7
entrenamiento de precisión mixta: AMP nativo
Funcionalidades
- Clasificación de texto
- Transformers
- PyTorch
Casos de uso
- Clasificación de sentimientos en texto
- Análisis de sentimientos en redes sociales