BERT-Tiny-MRQA
VMware
Pregunta y respuesta
Este modelo es una versión reducida del modelo BERT diseñado para tareas de Pregunta-Respuesta. Ha sido entrenado en el conjunto de datos de MRQA (Lectura Automática para Respuesta a Preguntas) con un tamaño de datos de entrenamiento de 516,819 ejemplos y un tiempo de entrenamiento de 26:11 en una GPU Nvidia V100 de 32GB. Es parte de un proyecto de investigación conjunto con el Innovation Foundry/AIM-AHEAD Lab de la Universidad de Howard.
Como usar
from transformers import pipeline
question_answerer = pipeline("question-answering", model='VMware/bert-tiny-mrqa')
context = "Presentamos los resultados de la tarea compartida MRQA 2019 sobre la evaluación de las capacidades de generalización de los sistemas de comprensión de lectura. En esta tarea, adaptamos y unificamos 18 conjuntos de datos distintos de preguntas y respuestas en el mismo formato. Entre ellos, seis conjuntos de datos estuvieron disponibles para el entrenamiento, seis conjuntos de datos estuvieron disponibles para el desarrollo y los seis conjuntos de datos finales estuvieron ocultos para la evaluación final. Diez equipos presentaron sistemas, que exploraron diversas ideas como muestreo de datos, aprendizaje multitarea, entrenamiento adversarial y ensamblaje. El mejor sistema alcanzó una puntuación F1 promedio de 72.5 en los 12 conjuntos de datos retenidos, 10.7 puntos absolutos más alto que nuestra línea base inicial basada en BERT."
question = "¿Qué es MRQA?"
result = question_answerer(question=question, context=context)
print(result)
# {
# 'score': 0.134057879447937,
# 'start': 76,
# 'end': 80,
# 'answer': '2019'
# }
Funcionalidades
- Tipo de modelo: Pregunta-Respuesta Extractiva
- Modelo padre: BERT-Tiny-uncased
- Tamaño del conjunto de datos de entrenamiento: 516,819 ejemplos
- Tiempo de entrenamiento: 26:11 en una Nvidia V100 32GB GPU
- Idioma: Inglés
- Framework: PyTorch
- Versión del modelo: 1.0
Casos de uso
- Motores de búsqueda
- Chatbots
- Sistemas de atención al cliente
- Aplicaciones que requieren comprensión del lenguaje natural