deberta-v3-ft-financial-news-sentiment-analysis
mrm8488
Clasificación de texto
Este modelo es una versión afinada del microsoft/deberta-v3-small en el conjunto de datos None. DeBERTa mejora los modelos BERT y RoBERTa utilizando atención desentrelazada y un decodificador de máscara mejorado. Con estas dos mejoras, DeBERTa supera a RoBERTa en la mayoría de las tareas de NLU con 80GB de datos de entrenamiento. En DeBERTa V3, mejoramos aún más la eficiencia del modelo utilizando pre-entrenamiento estilo ELECTRA con Gradient Disentangled Embedding Sharing. Este modelo tiene seis capas y un tamaño oculto de 768. Tiene 44M de parámetros en la columna vertebral y una capa de embedding con 128K tokens que introducen 98M de parámetros adicionales.
Como usar
En caso de que no lo hayas instalado:
pip install transformers sentencepiece
Luego puedes usar el siguiente código:
from transformers import pipeline
task = "text-classification"
model_id = "mrm8488/deberta-v3-ft-financial-news-sentiment-analysis"
classifier = pipeline(task, model_id)
text = "Los coches de Tesla no son tan buenos como se esperaba"
result = classifier(text)
print(result)
Funcionalidades
- Atención desentrelazada
- Decodificador de máscara mejorado
- Pre-entrenamiento estilo ELECTRA con Gradient Disentangled Embedding Sharing
- Seis capas
- Tamaño oculto de 768
- 44M de parámetros en la columna vertebral
- Capa de embedding con 128K tokens
Casos de uso
- Análisis de sentimiento de noticias financieras
- Clasificación de texto en noticias financieras