Backedman/TriviaAnsweringMachineREAL
El proyecto TriviaAnsweringMachineREAL está enfocado en responder preguntas de trivia. No necesitas hacerlo bien en esta tarea, pero deberías enviar un sistema que complete la tarea o cree preguntas adversariales en ese contexto. Esto ayudará a toda la clase a compartir datos y recursos. No es necesario que te enfoques solo en predecir respuestas. En el caso de no gustar la capacidad de interrumpir preguntas, también puedes optar por responder preguntas completas. Sin embargo, debes también generar una confianza en la salida.
Como usar
Para evaluar tu modelo QA, utiliza el sitio web Dynabech (https://dynabench.org/tasks/qa). El nombre específico de la tarea es 'Grounded QA'. Aquí, con la ayuda del video tutorial, envía tu modelo de QA y evalúa cómo tu modelo de QA se desempeñó comparado con otros. La evaluación se realizará probando tu modelo de QA en varios conjuntos de datos de prueba y los resultados, tanto tuyos como de tus competidores, se verán en la tabla de clasificación. Tu objetivo es obtener la mayor cantidad de victorias esperadas: interrumpe con una probabilidad proporcional a tu confianza y, si tienes más razón que la competencia, ganas.
Funcionalidades
- Responder preguntas de trivia
- Interrumpir preguntas en cualquier punto
- Métodos automáticos para elegir una respuesta
- Uso de datos externos y software público
- Generar confianza en las respuestas
Casos de uso
- Participar en competencias de trivia académica
- Crear preguntas adversariales que desafíen los sistemas modernos de NLP
- Evaluar la precisión de los sistemas QA en varios contextos
- Comparar el desempeño de diferentes modelos de QA