ozcangundes/mt5-multitask-qa-qg-turkish
El sistema multitarea basado en mT5-small turco (Extracción de respuestas, Generación de preguntas y Respuesta a preguntas). El T5 multilingüe pequeño de Google está ajustado en un conjunto de datos de Preguntas y Respuestas en turco para tres tareas downstream: Extracción de respuestas, Generación de preguntas y Respuesta a preguntas, servido en este único modelo. El modelo mT5 también fue entrenado para múltiples tareas de NLP de texto a texto. Todo el procesamiento de datos, entrenamiento y códigos de pipeline se pueden encontrar en mi Github. Compartiré los detalles del entrenamiento en el repositorio lo antes posible. El modelo mT5 small tiene 300 millones de parámetros y su tamaño es aproximadamente 1.2GB. Por lo tanto, requiere una cantidad significativa de tiempo para ajustarlo. Se aplicaron 8 épocas y una tasa de aprendizaje de 1e-4 con 0 pasos de calentamiento durante el entrenamiento. Estos hiperparámetros y otros pueden ser ajustados para obtener resultados mucho mejores.
Como usar
!pip install transformers==4.4.2
!pip install sentencepiece==0.1.95
!git clone https://github.com/ozcangundes/multitask-question-generation.git
%cd multitask-question-generation/
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
tokenizer = AutoTokenizer.from_pretrained("ozcangundes/mt5-multitask-qa-qg-turkish")
model = AutoModelForSeq2SeqLM.from_pretrained("ozcangundes/mt5-multitask-qa-qg-turkish")
from pipelines import pipeline
multimodel = pipeline("multitask-qa-qg",tokenizer=tokenizer,model=model)
# Texto de ejemplo
text="Özcan Gündeş, 1993 yılı Tarsus doğumludur. Orta Doğu Teknik Üniversitesi \\ Endüstri Mühendisliği bölümünde 2011 2016 yılları arasında lisans eğitimi görmüştür. \\ Yüksek lisansını ise 2020 Aralık ayında, 4.00 genel not ortalaması ile \\ Boğaziçi Üniversitesi, Yönetim Bilişim Sistemleri bölümünde tamamlamıştır.\\ Futbolla yakından ilgilenmekle birlikte, Galatasaray kulübü taraftarıdır."
# Ejemplo - Tanto generación de preguntas como respuesta a preguntas
multimodel(text)
# Salida
=> [{'respuesta': 'Tarsus', 'pregunta': '¿Dónde nació Özcan Gündeş?'}, {'respuesta': '1993', 'pregunta': '¿En qué año nació Özcan Gündeş?'}, {'respuesta': '2011 2016', 'pregunta': '¿Entre qué años completó Özcan Gündeş su educación de pregrado?'}, {'respuesta': 'Boğaziçi Üniversitesi, Yönetim Bilişim Sistemleri', 'pregunta': '¿En qué departamento completó Özcan Gündeş su maestría?'}, {'respuesta': 'Galatasaray kulübü', 'pregunta': '¿A qué club apoya Özcan Gündeş que tiene un gran interés en el fútbol?'}]
# Ejemplo - Respuesta a preguntas
multimodel({"context":text,"pregunta":"¿A qué club apoya Özcan?"})
# Salida
=> Galatasaray
multimodel({"context":text,"pregunta":"¿Cuándo se graduó Özcan de su maestría?"})
# Salida
=> 2020 Aralık ayında
multimodel({"context":text,"pregunta":"¿Cuál es la nota de graduación de maestría de Özcan?"})
# Salida
=> 4.00
Funcionalidades
- Extracción de respuestas
- Generación de preguntas
- Respuesta a preguntas
- Modelo multitarea
Casos de uso
- Generación de preguntas para textos en turco
- Extracción automática de respuestas de textos en turco
- Respuesta automatizada a preguntas en turco