deepset/tinybert-6l-768d-squad2
deepset
Pregunta y respuesta
Modelo de lenguaje: deepset/tinybert-6L-768D-squad2. Datos de entrenamiento: conjunto de entrenamiento SQuAD 2.0 x 20 aumentados + conjunto de entrenamiento SQuAD 2.0 sin aumento. Datos de evaluación: conjunto de desarrollo SQuAD 2.0. Infraestructura: 1x GPU V100. Publicado: 8 de diciembre de 2021. Características de destilación de capas intermedias y de predicción de Haystack fueron utilizadas para el entrenamiento (basado en TinyBERT). deepset/bert-base-uncased-squad2 se usó como el modelo maestro y huawei-noah/TinyBERT_General_6L_768D se usó como el modelo estudiante.
Como usar
Para uso del modelo, asegúrate de tener el entorno de PyTorch configurado. EJemplo de uso:
from transformers import pipeline
nlp = pipeline('question-answering', model='deepset/tinybert-6L-768d-squad2')
result = nlp({'question': 'What is the capital of France?', 'context': 'Paris is the capital of France.'})
print(result)
Funcionalidades
- Destilación de capas intermedias
- Destilación de capas de predicción
- Transformers
- PyTorch
- Safetensors
- bert
- exbert
Casos de uso
- Exactitud (exacta): 71.87736882001179
- F1: 76.36111895973675
- Conjunto de datos SQuAD 2.0
- Aplicaciones de respuesta a preguntas de lenguaje natural
- Modelos específicos de la industria