distilbert-base-uncased-finetuned-emotion

Este modelo es una versión afinada de distilbert-base-uncased en el conjunto de datos de emociones. DistilBERT es un modelo de transformadores, más pequeño y rápido que BERT, que fue preentrenado en el mismo corpus de manera autosupervisada, utilizando el modelo base BERT como un profesor. Esto significa que fue preentrenado solo en textos sin procesar, sin etiquetas humanas, utilizando un proceso automático para generar entradas y etiquetas de esos textos usando el modelo base BERT. En concreto, se preentrenó con tres objetivos: pérdida de destilación, modelado de lenguaje enmascarado (MLM) y pérdida de incrustación coseno. De esta manera, el modelo aprende la misma representación interna del idioma inglés que su modelo profesor, pero es más rápido para la inferencia o tareas posteriores. El dataset de emociones consiste en mensajes de Twitter en inglés con seis emociones básicas: ira, miedo, alegría, amor, tristeza y sorpresa. Este dataset fue desarrollado a través de etiquetas ruidosas con supervisión distante.