boapps/kmdb_classification_model
boapps
Clasificación de texto
Modelo de clasificación afinado en el conjunto de datos kmdb_classification utilizando el modelo huBERT. La clasificación se realiza basándose en el título y la descripción.
Como usar
import torch
import torch.nn.functional as F
from transformers import BertForSequenceClassification, BertTokenizer
from datasets import load_dataset
model = BertForSequenceClassification.from_pretrained('boapps/kmdb_classification_model')
tokenizer = BertTokenizer.from_pretrained('SZTAKI-HLT/hubert-base-cc')
article = {'title': '400 milliós luxusvillába vette be magát Matolcsy és családja', 'description': 'Matolcsy György fiának cége megvette, Matolcsy György unokatestvérének bankja meghitelezte, Matolcsy György pedig használja a 430 millióért hirdetett II. kerületi luxusrezidenciát.'}
tokenized_article = tokenizer(article['title']+'\n'+article['description'], return_tensors="pt")
logits = model(**tokenized_article).logits
probabilities = F.softmax(logits[0], dim=-1)
print(probabilities)
Funcionalidades
- Clasificación de texto
- Transformers
- PyTorch
- BERT
Casos de uso
- Clasificación de artículos basándose en el título y la descripción
- Análisis de contenido textual en húngaro