ruanchaves/bert-large-portuguese-cased-hatebr
ruanchaves
Clasificación de texto
Este es el modelo neuralmind/bert-large-portuguese-cased afinado para la detección de lenguaje ofensivo con el conjunto de datos HateBR. Este modelo es adecuado para portugués.
Como usar
from transformers import AutoModelForSequenceClassification, AutoTokenizer, AutoConfig
import numpy as np
import torch
from scipy.special import softmax
model_name = "ruanchaves/bert-large-portuguese-cased-hatebr"
s1 = "Quem não deve não teme!!"
model = AutoModelForSequenceClassification.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)
config = AutoConfig.from_pretrained(model_name)
model_input = tokenizer(*([s1],), padding=True, return_tensors="pt")
with torch.no_grad():
output = model(**model_input)
scores = output[0][0].detach().numpy()
scores = softmax(scores)
ranking = np.argsort(scores)
ranking = ranking[::-1]
for i in range(scores.shape[0]):
l = config.id2label[ranking[i]]
s = scores[ranking[i]]
print(f"{i+1}) Label: {l} Score: {np.round(float(s), 4)}")
Funcionalidades
- Clasificación de texto
- Transformers
- PyTorch
Casos de uso
- Detección de lenguaje ofensivo