osiria/bert-italian-uncased-question-answering
Este es un modelo BERT sin mayúsculas para el idioma italiano, afinado para la extracción de respuestas en el dataset SQuAD-IT. La versión 2.0 del modelo mejora aún más las prestaciones utilizando una estrategia de afinado en dos fases: primero se afina en el SQuAD v2 en inglés (1 época, 20% de ratio de calentamiento y una tasa de aprendizaje máxima de 3e-5) y luego se afina en el SQuAD en italiano (2 épocas, sin calentamiento, con una tasa de aprendizaje inicial de 3e-5). Para maximizar los beneficios del procedimiento multilingüe, se utiliza bert-base-multilingual-uncased como modelo pre-entrenado. Una vez completado el afinado doble, la capa de embedding se comprime como en bert-base-italian-uncased para obtener un tamaño de modelo monolingüe.
Como usar
from transformers import BertTokenizerFast, BertForQuestionAnswering
from transformers import pipeline
tokenizer = BertTokenizerFast.from_pretrained("osiria/bert-italian-uncased-question-answering")
model = BertForQuestionAnswering.from_pretrained("osiria/bert-italian-uncased-question-answering")
pipeline_qa = pipeline("question-answering", model = model, tokenizer = tokenizer)
pipeline_qa(context = "alessandro manzoni è nato a milano nel 1785", question = "dove è nato manzoni?")
{'score': 0.9905025959014893, 'start': 28, 'end': 34, 'answer': 'milano'}
Funcionalidades
- Modelo BERT sin mayúsculas
- Afinado para la extracción de respuestas
- Entrenado en el dataset SQuAD-IT
- Versión 2.0 con estrategia de afinado en dos fases
- Utiliza bert-base-multilingual-uncased como pre-entrenado
Casos de uso
- Respuestas extractivas
- Comprensión de texto en italiano
- Aplicaciones de Preguntas y Respuestas