ibm/re2g-reranker-nq

Los creadores del modelo señalan en el documento asociado: Como lo demuestran GPT-3 y T5, los transformadores aumentan en capacidad a medida que el espacio de parámetros se vuelve más grande y más grande. Sin embargo, para tareas que requieren una gran cantidad de conocimiento, la memoria no paramétrica permite que los modelos crezcan dramáticamente con un aumento sublineal en el costo computacional y los requisitos de memoria GPU. Modelos recientes como RAG y REALM han introducido la recuperación en generación condicional. Estos modelos incorporan la recuperación inicial neural de un corpus de pasajes. Nos basamos en esta línea de investigación, proponiendo Re2G, que combina tanto la recuperación inicial neural como la re-ranking en una generación de secuencia basada en BART. Nuestro enfoque de re-ranking también permite combinar los resultados de recuperación de fuentes con puntajes incomparables, permitiendo un conjunto de BM25 y recuperación inicial neural. Para entrenar nuestro sistema de extremo a extremo, introducimos una variación novedosa de destilación de conocimiento para entrenar la recuperación inicial, el re-ranking y la generación usando solo la verdad en el resultado de la secuencia objetivo. Encontramos grandes ganancias en cuatro tareas diversas: llenado de ranuras en cero shots, respuesta a preguntas, verificación de hechos y diálogo, con ganancias relativas del 9% al 34% sobre el estado del arte anterior en la tabla de clasificación KILT. Hacemos que nuestro código esté disponible como código abierto.