leondz/refutation_detector_distilbert

Estas son respuestas diseñadas para capturar un modelo que refuta una afirmación falsa. Son resultados de indicaciones del modelo OpenAI gpt-3.5-turbo ejecutados el 1 de junio de 2023. Las indicaciones se construyen anteponiendo 'Explica por qué' a las afirmaciones realizadas en el conjunto de datos True-False provisto junto con The Internal State of an LLM Knows When its Lying. Solo se incluye la primera oración de la respuesta (de nltk.sent_tokenize). Se utilizan las etiquetas originales, donde 0 corresponde a una afirmación falsa. Es decir, las etiquetas 0 deberían ser casi todas refutaciones. Las refutaciones espurias y faltantes fueron eliminadas a mano, correspondiendo al 10% de los datos. Esto fue causado por una afirmación incorrecta del modelo o errores en los datos de origen.