Modelo base Splinter (con pesos de capa QASS preentrenados)

Splinter-base es el modelo preentrenado discutido en el artículo Few-Shot Question Answering by Pretraining Span Selection (en ACL 2021). El modelo es sensible a mayúsculas y minúsculas. Splinter es un modelo preentrenado de forma auto supervisada para preguntas y respuestas de pocos disparos. Fue preentrenado solo en textos en bruto, sin intervención humana para etiquetarlos, usando un proceso automático para generar entradas y etiquetas a partir de esos textos. El objetivo de entrenamiento era la Selección de Span Recurrente (RSS), que emula el proceso de selección de spans involucrado en la extracción de preguntas y respuestas. Además, define la capa de Selección de Span Consciente de Preguntas (QASS), que selecciona spans condicionados a una pregunta específica.