BioLinkBERT-base

BioLinkBERT-base es un modelo preentrenado en resúmenes de PubMed junto con información de enlaces de citas. Se introduce en el artículo LinkBERT: Pretraining Language Models with Document Links (ACL 2022). El código y los datos están disponibles en este repositorio. Este modelo logra un rendimiento de vanguardia en varios puntos de referencia de NLP biomédico como BLURB y MedQA-USMLE. LinkBERT es un modelo de codificador transformador (similar a BERT) preentrenado en un gran corpus de documentos. Es una mejora de BERT que captura nuevos enlaces de documentos, como hipervínculos y enlaces de citas, para incluir conocimiento que abarca múltiples documentos. Específicamente, se preentrenó alimentando documentos vinculados en el mismo contexto del modelo lingüístico, además de un solo documento. LinkBERT puede usarse como un reemplazo directo de BERT. Logra un mejor rendimiento para tareas generales de comprensión del lenguaje (por ejemplo, clasificación de texto) y también es particularmente efectivo para tareas intensivas en conocimiento (por ejemplo, respuesta a preguntas) y tareas entre documentos (por ejemplo, comprensión de lectura, recuperación de documentos).