BioLinkBERT-large
BioLinkBERT-large es un modelo preentrenado en resúmenes de PubMed junto con información de enlaces de citas. Fue introducido en el artículo LinkBERT: Pretraining Language Models with Document Links (ACL 2022). El código y los datos están disponibles en este repositorio. Este modelo logra un rendimiento de vanguardia en varios benchmarks de NLP biomédico como BLURB y MedQA-USMLE. LinkBERT es un modelo de codificador transformer (similar a BERT) preentrenado en un gran corpus de documentos. Es una mejora de BERT que captura nuevos enlaces de documentos, como hipervínculos y enlaces de citas, para incluir conocimientos que abarcan múltiples documentos. Específicamente, fue preentrenado alimentando documentos vinculados en el mismo contexto del modelo de lenguaje, además de un solo documento. LinkBERT se puede usar como un reemplazo directo de BERT. Logra un mejor rendimiento para tareas generales de comprensión del lenguaje (por ejemplo, clasificación de texto) y también es particularmente efectivo para tareas que requieren mucho conocimiento (por ejemplo, respuesta a preguntas) y tareas entre documentos (por ejemplo, comprensión de lectura, recuperación de documentos).
Como usar
Para usar el modelo y obtener las características de un texto dado en PyTorch:
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained('michiyasunaga/BioLinkBERT-large')
model = AutoModel.from_pretrained('michiyasunaga/BioLinkBERT-large')
inputs = tokenizer("Sunitinib es un inhibidor de tirosina quinasa", return_tensors="pt")
outputs = model(**inputs)
last_hidden_states = outputs.last_hidden_state
Para ajustar el modelo, puede usar este repositorio o seguir cualquier otro código base de ajuste fino de BERT.
Funcionalidades
- Clasificación de texto
- Transformadores
- PyTorch
- PubMed
- Extracción de características
- exBERT
- linkBERT
- biolinkBERT
- Relleno de máscara
- Respuesta a preguntas
- Clasificación de tokens
Casos de uso
- Clasificación de texto
- Extracción de características
- Respuesta a preguntas
- Clasificación de secuencias
- Clasificación de tokens