BERT-Tiny-MRQA

VMware
Pregunta y respuesta

Este modelo es una versión reducida del modelo BERT diseñado para tareas de Pregunta-Respuesta. Ha sido entrenado en el conjunto de datos de MRQA (Lectura Automática para Respuesta a Preguntas) con un tamaño de datos de entrenamiento de 516,819 ejemplos y un tiempo de entrenamiento de 26:11 en una GPU Nvidia V100 de 32GB. Es parte de un proyecto de investigación conjunto con el Innovation Foundry/AIM-AHEAD Lab de la Universidad de Howard.

Como usar

from transformers import pipeline

question_answerer = pipeline("question-answering", model='VMware/bert-tiny-mrqa')

context = "Presentamos los resultados de la tarea compartida MRQA 2019 sobre la evaluación de las capacidades de generalización de los sistemas de comprensión de lectura. En esta tarea, adaptamos y unificamos 18 conjuntos de datos distintos de preguntas y respuestas en el mismo formato. Entre ellos, seis conjuntos de datos estuvieron disponibles para el entrenamiento, seis conjuntos de datos estuvieron disponibles para el desarrollo y los seis conjuntos de datos finales estuvieron ocultos para la evaluación final. Diez equipos presentaron sistemas, que exploraron diversas ideas como muestreo de datos, aprendizaje multitarea, entrenamiento adversarial y ensamblaje. El mejor sistema alcanzó una puntuación F1 promedio de 72.5 en los 12 conjuntos de datos retenidos, 10.7 puntos absolutos más alto que nuestra línea base inicial basada en BERT."

question = "¿Qué es MRQA?"

result = question_answerer(question=question, context=context)

print(result)

# {
#   'score': 0.134057879447937,
#   'start': 76,
#   'end': 80,
#   'answer': '2019'
# }

Funcionalidades

Tipo de modelo: Pregunta-Respuesta Extractiva
Modelo padre: BERT-Tiny-uncased
Tamaño del conjunto de datos de entrenamiento: 516,819 ejemplos
Tiempo de entrenamiento: 26:11 en una Nvidia V100 32GB GPU
Idioma: Inglés
Framework: PyTorch
Versión del modelo: 1.0

Casos de uso

Motores de búsqueda
Chatbots
Sistemas de atención al cliente
Aplicaciones que requieren comprensión del lenguaje natural