pipeline-as-repo
La evaluación de este proyecto es responder preguntas de trivia. No es necesario tener un buen rendimiento en esta tarea, pero se debe presentar un sistema que complete la tarea o crear preguntas adversariales en ese contexto. Esto ayudará a la clase a compartir datos y recursos. Si se enfoca en algo distinto a predecir respuestas, está bien.
Como usar
Se puede usar cualquier método automático para elegir una respuesta. No es necesario que sea similar ni que construya sobre los sistemas proporcionados. Además de los datos proporcionados, se puede usar cualquier dato externo excepto las preguntas del test de quiz bowl (no hackear el servidor). Se alienta el uso de software disponible públicamente. Si no gusta la interrumpibilidad de las preguntas, también se pueden responder preguntas completas. Debe proporcionar una confianza con la respuesta.
Funcionalidades
- Modelos de Transformers
- Compatibilidad con PyTorch
- Capacidad de responder preguntas
Casos de uso
- Participar en competiciones académicas de trivia entre escuelas
- Evaluar modelos de QA (Respuesta a Preguntas) en plataformas de evaluación competitiva como Dynabech
- Escribir preguntas adversariales que desafíen los sistemas modernos de NLP