G-SciEdBERT
G-SciEdBERT: Un Modelo Grande de Lenguaje Contextualizado para Tareas de Evaluación Científica en Alemán. Este modelo desarrollado, G-SciEdBERT, es un innovador modelo de lenguaje grande adaptado para puntuar respuestas escritas en alemán a tareas de ciencia. Utilizando G-BERT, preentrenamos G-SciEdBERT en un corpus de 50K respuestas científicas escritas en alemán con 5M tokens del Programa para la Evaluación Internacional de Estudiantes (PISA) 2015. Ajustamos G-SciEdBERT en 59 ítems de evaluación y examinamos la precisión de la puntuación. Nuestros hallazgos revelan una mejora sustancial en la precisión de la puntuación con G-SciEdBERT, demostrando un aumento del 10% en el kappa ponderado cuadrático en comparación con G-BERT (diferencia de precisión media = 0.096, SD = 0.024). Estos conocimientos subrayan la importancia de modelos de lenguaje especializado como G-SciEdBERT, que se entrena para mejorar la precisión de la puntuación automatizada, ofreciendo una contribución sustancial al campo de la IA en educación.
Como usar
Con Transformers >= 2.3, nuestros modelos de BERT en alemán pueden cargarse de la siguiente manera:
from transformers import AutoModel, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("ai4stem-uga/G-SciEdBERT")
model = AutoModel.from_pretrained("ai4stem-uga/G-SciEdBERT")
Funcionalidades
- Clasificación de texto
- Transformadores
- Safetensors
- Alemán
- Rellenar máscara
- Ciencia
Casos de uso
- Evaluación automática de respuestas escritas en alemán a tareas de ciencia.
- Mejora de la precisión de la puntuación en evaluaciones a gran escala como PISA.
- Comprensión y evaluación de escritos complejos relacionados con la ciencia.