d4data/bias-detection-model
d4data
Clasificación de texto
Un modelo de clasificación de secuencias en inglés, entrenado en el conjunto de datos MBAD para detectar sesgo y equidad en sentencias (artículos de noticias). Este modelo se construyó sobre el modelo distilbert-base-uncased y se entrenó durante 30 épocas con un tamaño de lote de 16, una tasa de aprendizaje de 5e-5 y una longitud máxima de secuencia de 512. Emisión de carbono: 0.319355 kg.
Como usar
La forma más fácil es cargar la API de inferencia desde Huggingface y el segundo método es a través del objeto pipeline ofrecido por la biblioteca transformers.
from transformers import AutoTokenizer, TFAutoModelForSequenceClassification
from transformers import pipeline
tokenizer = AutoTokenizer.from_pretrained("d4data/bias-detection-model")
model = TFAutoModelForSequenceClassification.from_pretrained("d4data/bias-detection-model")
classifier = pipeline('text-classification', model=model, tokenizer=tokenizer) # cuda = 0,1 based on gpu availability
classifier("The irony, of course, is that the exhibit that invites people to throw trash at vacuuming Ivanka Trump lookalike reflects every stereotype feminists claim to stand against, oversexualizing Ivanka’s body and ignoring her hard work.")
Funcionalidades
- Clasificación de texto
- Transformers
- TensorFlow
- Precisión de entrenamiento: 76.97
- Precisión de validación: 62.00
- Pérdida de entrenamiento: 0.45
- Pérdida de prueba: 0.96
Casos de uso
- Detectar sesgo en artículos de noticias
- Evaluar la equidad de las sentencias en inglés