LinkBERT-large
LinkBERT es un modelo de codificador transformador (similar a BERT) preentrenado en un gran corpus de documentos. Es una mejora de BERT que captura nuevos enlaces de documentos como hipervínculos y enlaces de citación para incluir conocimientos que abarcan múltiples documentos. Específicamente, fue preentrenado alimentando documentos enlazados en el mismo contexto del modelo de lenguaje, además de un solo documento. LinkBERT se puede usar como un reemplazo directo de BERT. Logra un mejor rendimiento para tareas generales de comprensión del lenguaje (por ejemplo, clasificación de texto), y es particularmente efectivo para tareas intensivas en conocimientos (por ejemplo, respuesta a preguntas) y tareas entre documentos (por ejemplo, comprensión de lectura, recuperación de documentos).
Como usar
Para usar el modelo para obtener las características de un texto dado en PyTorch:
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained('michiyasunaga/LinkBERT-large')
model = AutoModel.from_pretrained('michiyasunaga/LinkBERT-large')
inputs = tokenizer("Hola, mi perro es lindo", return_tensors="pt")
outputs = model(**inputs)
last_hidden_states = outputs.last_hidden_state
Para el ajuste fino, puede usar este repositorio o seguir cualquier otro código de bases de ajuste fino de BERT.
Funcionalidades
- Clasificación de texto
- Transformadores
- PyTorch
- Extracción de características
- ExBERT
- Relleno de máscara
- Respuesta a preguntas
- Clasificación de tokens
- Puntos finales de inferencia
Casos de uso
- Respuesta a preguntas
- Clasificación de secuencias
- Clasificación de tokens
- Extracción de características