FineWeb-Edu clasificador
HuggingFaceFW
Clasificación de texto
Este es un clasificador para juzgar el valor educativo de las páginas web. Fue desarrollado para filtrar y curar contenido educativo de conjuntos de datos web y fue entrenado con 450,000 anotaciones generadas por LLama3-70B-instruct para muestras web del conjunto de datos FineWeb.
Como usar
Para cargar el clasificador FineWeb-Edu, usa el siguiente código:
from transformers import AutoTokenizer, AutoModelForSequenceClassification
tokenizer = AutoTokenizer.from_pretrained("HuggingFaceTB/fineweb-edu-classifier")
model = AutoModelForSequenceClassification.from_pretrained("HuggingFaceTB/fineweb-edu-classifier")
text = "This is a test sentence."
inputs = tokenizer(text, return_tensors="pt", padding="longest", truncation=True)
outputs = model(**inputs)
logits = outputs.logits.squeeze(-1).float().detach().numpy()
score = logits.item()
result = {
"text": text,
"score": score,
"int_score": int(round(max(0, min(score, 5)))),
}
print(result)
# {'text': 'This is a test sentence.', 'score': 0.07964489609003067, 'int_score': 0}
Funcionalidades
- Clasificación de texto
- Uso de Transformers
- Compatibilidad con Safetensors
- Modelo en inglés
- Puntos de inferencia
Casos de uso
- Filtración y curación de contenido educativo de conjuntos de datos web
- Evaluación de la calidad educativa de las páginas web