deepset/bert-base-uncased-squad2
deepset
Pregunta y respuesta
deepset/bert-base-uncased-squad2 es un modelo de lenguaje basado en BERT entrenado para la tarea de Pregunta y Respuesta extractiva usando el conjunto de datos SQuAD 2.0. Este modelo fue entrenado y evaluado en una infraestructura que utiliza una Tesla V100.
Como usar
Para usar este modelo en PyTorch, puedes seguir el siguiente código de ejemplo:
from transformers import BertForQuestionAnswering, BertTokenizer
# Cargar el modelo y el tokenizador
model = BertForQuestionAnswering.from_pretrained('deepset/bert-base-uncased-squad2')
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
# Entrada de ejemplo
question, text = "What is the name of the repository?", "deepset/bert-base-uncased-squad2 is a language model."
inputs = tokenizer(question, text, return_tensors='pt')
# Realizar inferencia
outputs = model(**inputs)
start_scores, end_scores = outputs.start_logits, outputs.end_logits
Este es un ejemplo básico de cómo cargar y usar el modelo para la tarea de Pregunta y Respuesta.
Funcionalidades
- Modelo de lenguaje: bert-base-uncased
- Tarea: Pregunta y Respuesta extractiva
- Datos de entrenamiento: SQuAD 2.0
- Datos de evaluación: SQuAD 2.0
- Uso de infraestructura: 1x Tesla V100
- Tamaño del lote: 32
- Número de épocas: 3
- Modelo base LM: bert-base-uncased
- Longitud máxima de la secuencia: 384
- Tasa de aprendizaje: 3e-5
- Programa de tasa de aprendizaje: LinearWarmup
- Proporción de calentamiento: 0.2
- Desplazamiento del documento: 128
- Longitud máxima de la consulta: 64
Casos de uso
- Realización de tareas de Pregunta y Respuesta en textos en inglés
- Desarrollo de sistemas de preguntas y respuestas a gran escala
- Despliegue en aplicaciones que requieren comprensión y búsqueda de información precisa a partir de texto