google/tapas-base-finetuned-tabfact

TAPAS es un modelo de transformadores similar a BERT preentrenado en un gran corpus de datos en inglés de Wikipedia de manera auto-supervisada. Esto significa que fue preentrenado solo en las tablas sin procesar y los textos asociados, sin intervención humana para etiquetarlos de ninguna manera (por lo que puede usar muchos datos disponibles públicamente) con un proceso automático para generar entradas y etiquetas a partir de esos textos. Más precisamente, fue preentrenado con dos objetivos: modelado de lenguaje enmascarado (MLM) y preentrenamiento intermedio. El preentrenamiento intermedio busca fomentar el razonamiento numérico en tablas al preentrenar adicionalmente el modelo creando un conjunto de datos equilibrado de millones de ejemplos de entrenamiento creados sintácticamente. Aquí, el modelo debe predecir (clasificar) si una oración está respaldada o refutada por el contenido de una tabla.