ruanchaves/bert-large-portuguese-cased-hatebr

ruanchaves
Clasificación de texto

Este es el modelo neuralmind/bert-large-portuguese-cased afinado para la detección de lenguaje ofensivo con el conjunto de datos HateBR. Este modelo es adecuado para portugués.

Como usar

from transformers import AutoModelForSequenceClassification, AutoTokenizer, AutoConfig
import numpy as np
import torch
from scipy.special import softmax

model_name = "ruanchaves/bert-large-portuguese-cased-hatebr"
s1 = "Quem não deve não teme!!"
model = AutoModelForSequenceClassification.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)
config = AutoConfig.from_pretrained(model_name)
model_input = tokenizer(*([s1],), padding=True, return_tensors="pt")
with torch.no_grad():
    output = model(**model_input)
    scores = output[0][0].detach().numpy()
    scores = softmax(scores)
    ranking = np.argsort(scores)
    ranking = ranking[::-1]
    for i in range(scores.shape[0]):
        l = config.id2label[ranking[i]]
        s = scores[ranking[i]]
        print(f"{i+1}) Label: {l} Score: {np.round(float(s), 4)}")

Funcionalidades

Clasificación de texto
Transformers
PyTorch

Casos de uso

Detección de lenguaje ofensivo