UmBERTo Wikipedia Uncased + SQuAD italiano v1
UmBERTo-Wikipedia-Uncased ajustado en el conjunto de datos SQUAD italiano v1 para la tarea de preguntas y respuestas. UmBERTo es un modelo de lenguaje basado en Roberta entrenado en grandes corpus en italiano. Utiliza dos enfoques innovadores: SentencePiece y Whole Word Masking. La capacitación de UmBERTo-Wikipedia-Uncased se realizó en un corpus relativamente pequeño (~7GB) extraído de Wikipedia-ITA. SQuAD es un conjunto de datos a gran escala para el entrenamiento de sistemas de preguntas y respuestas sobre preguntas factuales. SQuAD-it se deriva del conjunto de datos SQuAD y se obtiene mediante la traducción semiautomática del conjunto de datos SQuAD al italiano.
Como usar
from transformers import pipeline
QnA_pipeline = pipeline('question-answering', model='mrm8488/umberto-wikipedia-uncased-v1-finetuned-squadv1-it')
QnA_pipeline({
'context': 'Marco Aurelio era un emperador romano que practicaba el estoicismo como filosofía de vida.',
'question': '¿Qué filosofía siguió Marco Aurelio?'
})
# Salida:
{'answer': 'estoicismo', 'end': 65, 'score': 0.9477770241566028, 'start': 56}
El modelo fue entrenado en una GPU Tesla P100 y 25GB de RAM con el siguiente comando:
python transformers/examples/question-answering/run_squad.py \
--model_type bert \
--model_name_or_path 'Musixmatch/umberto-wikipedia-uncased-v1' \
--do_eval \
--do_train \
--do_lower_case \
--train_file '/content/dataset/SQuAD_it-train.json' \
--predict_file '/content/dataset/SQuAD_it-test.json' \
--per_gpu_train_batch_size 16 \
--learning_rate 3e-5 \
--num_train_epochs 10 \
--max_seq_length 384 \
--doc_stride 128 \
--output_dir /content/drive/My\ Drive/umberto-uncased-finetuned-squadv1-it \
--overwrite_output_dir \
--save_steps 1000
Funcionalidades
- Modelo de Lenguaje basado en Roberta
- Ajustado en corpus italiano
- Enfoques innovadores: SentencePiece y Whole Word Masking
- Más de 60,000 pares de preguntas/respuestas
- Compatible con PyTorch y Transformers
Casos de uso
- Respuesta a preguntas factuales en italiano
- Sistemas de preguntas y respuestas
- Integración en aplicaciones de chatbots
- Soporte a asistentes virtuales en italiano