Emo-MobileBERT
Emo-MobileBERT: una versión delgada de BERT LARGE, entrenada desde cero en el conjunto de datos EmoContext. MobileBERT fue presentado en el artículo 'MobileBERT: un BERT compacto agnóstico a tareas para dispositivos con recursos limitados' por Zhiqing Sun, Hongkun Yu, Xiaodan Song, Renjie Liu, Yiming Yang, Denny Zhou. En este artículo, se propuso MobileBERT para comprimir y acelerar el popular modelo BERT. Al igual que el BERT original, MobileBERT es agnóstico a tareas, es decir, puede aplicarse genéricamente a varios tareas NLP mediante un ajuste fino simple. Básicamente, MobileBERT es una versión delgada de BERT_LARGE, mientras que está equipado con estructuras de cuello de botella y un equilibrio cuidadosamente diseñado entre auto-atenciones y redes de avance. Para entrenar MobileBERT, primero entrenamos un modelo de profesor especialmente diseñado, un modelo BERT_LARGE incorporado con cuello de botella invertido. Luego, transferimos el conocimiento de este profesor a MobileBERT. Los estudios empíricos muestran que MobileBERT es 4.3 veces más pequeño y 5.5 veces más rápido que BERT_BASE, mientras logra resultados competitivos en benchmarks conocidos. En las tareas de inferencia de lenguaje natural de GLUE, MobileBERT alcanza una puntuación GLUE de 77.7 (0.6 menor que BERT_BASE), y una latencia de 62 ms en un teléfono Pixel 4. En la tarea de pregunta-respuesta de SQuAD v1.1/v2.0, MobileBERT alcanza una puntuación F1 dev de 90.0/79.2 (1.5/2.1 mayor que BERT_BASE).
Como usar
from transformers import AutoTokenizer, AutoModelForSequenceClassification, pipeline
tokenizer = AutoTokenizer.from_pretrained('lordtt13/emo-mobilebert')
model = AutoModelForSequenceClassification.from_pretrained('lordtt13/emo-mobilebert')
nlp_sentence_classif = pipeline('sentiment-analysis', model=model, tokenizer=tokenizer)
nlp_sentence_classif("I've never had such a bad day in my life")
# Output: [{'label': 'sad', 'score': 0.93153977394104}]
Funcionalidades
- Versión delgada de BERT_LARGE
- Equipado con estructuras de cuello de botella
- Equilibrio entre auto-atenciones y redes de avance
- 4.3 veces más pequeño que BERT_BASE
- 5.5 veces más rápido que BERT_BASE
- Resultados competitivos en benchmarks conocidos
Casos de uso
- Clasificación de texto
- Reconocimiento de emociones
- Detección de emociones contextuales en texto