unitary/unbiased-toxic-roberta
unitary
Clasificación de texto
Modelos entrenados y código para predecir comentarios tóxicos en 3 desafíos Jigsaw: clasificación de comentarios tóxicos, sesgo no intencional en comentarios tóxicos, clasificación de comentarios tóxicos multilingües. Construido por Laura Hanu en Unitary, donde trabajamos para detener contenido dañino en línea interpretando contenido visual en contexto.
Como usar
# instalar detoxify
pip install detoxify
from detoxify import Detoxify
# cada modelo toma una cadena o una lista de cadenas
results = Detoxify('original').predict('example text')
results = Detoxify('unbiased').predict(['example text 1','example text 2'])
results = Detoxify('multilingual').predict(['example text','exemple de texte','texto de ejemplo','testo di esempio','texto de exemplo','örnek metin','пример текста'])
# opcional para mostrar resultados de manera ordenada (es necesario pip install pandas)
import pandas as pd
print(pd.DataFrame(results, index=input_text).round(5))
Funcionalidades
- Clasificación de comentarios tóxicos
- Minimización de sesgo no intencional en comentarios tóxicos
- Clasificación de comentarios tóxicos multilingües
- Uso de Transformers y Pytorch Lightning
- Compatibilidad AutoTrain
Casos de uso
- Detectar comentarios tóxicos en plataformas de redes sociales.
- Reconocimiento de toxicidad minimizando prejuicios no intencionales.
- Clasificación de comentarios tóxicos en varios idiomas.
- Ayudar a moderadores de contenido a identificar rápidamente contenido dañino.