salti/bert-base-multilingual-cased-finetuned-squad
salti
Pregunta y respuesta
Multilingual BERT afinado en SQuADv1.1 es un modelo de respuesta a preguntas basado en Transformers, y es compatible con PyTorch y TensorFlow. Está optimizado para una longitud máxima de secuencia de 512, un stride de documento de 256, una longitud máxima de respuesta de 64 y se entrena con un tamaño de lote de 16 y pasos de acumulación de gradiente de 2. El modelo tiene una tasa de aprendizaje de 5e-5, una decaída de peso de 3e-7, se entrena por 3 épocas y tiene una proporción de calentamiento de 0.1. También admite FP16 con un nivel de optimización de 'O1' y está basado en la GPU Tesla P100-PCIE-16GB.
Como usar
# Cargar el modelo
from transformers import BertForQuestionAnswering, BertTokenizer
modelo = BertForQuestionAnswering.from_pretrained('salti/bert-base-multilingual-cased-finetuned-squad')
tokenizador = BertTokenizer.from_pretrained('salti/bert-base-multilingual-cased-finetuned-squad')
# Ejemplo de cómo usar el modelo
ejemplo_texto = "Hugging Face es una compañía de inteligencia artificial"
ejemplo_pregunta = "¿Qué es Hugging Face?"
entradas = tokenizador.encode_plus(ejemplo_pregunta, ejemplo_texto, return_tensors='pt')
salida = modelo(**entradas)
respuesta_comienzo = salida.start_logits.argmax()
respuesta_final = salida.end_logits.argmax()
respuesta = tokenizador.convert_tokens_to_string(tokenizador.convert_ids_to_tokens(entradas['input_ids'][0][respuesta_comienzo:respuesta_final+1]))
print(f'Respuesta: {respuesta}')
Funcionalidades
- Soporta múltiples idiomas
- Optimizado para SQuADv1.1
- Compatible con PyTorch y TensorFlow
- Admite FP16 con un nivel de optimización de 'O1'
- Entrenado en una GPU Tesla P100-PCIE-16GB
Casos de uso
- Respuesta automática a preguntas en múltiples idiomas
- Implantación en APIs de inferencia en puntos finales dedicados
- Desarrollo de aplicaciones multitarea que requieren comprensión de lenguaje natural en diferentes idiomas