ozcangundes/mt5-small-turkish-squad
ozcangundes
Pregunta y respuesta
El sistema de respuestas a preguntas basado en mT5-small para el turco es un modelo multilingüe T5-small de Google afinado con un conjunto de datos de preguntas y respuestas en turco utilizando PyTorch Lightning. El cuaderno que incluye todo el proceso de ajuste fino se compartirá más tarde en mi página de Github. El modelo mT5 pequeño tiene 300 millones de parámetros y su tamaño es de aproximadamente 1.2GB. Por lo tanto, toma un tiempo significativo afinarlo. Nota importante: mT5 solo fue preentrenado con mC4 excluyendo cualquier entrenamiento supervisado. Por lo tanto, el modelo mT5 debe ser afinado antes de ser usable en una tarea downstream.
Como usar
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
tokenizer = AutoTokenizer.from_pretrained("ozcangundes/mt5-small-turkish-squad")
model = AutoModelForSeq2SeqLM.from_pretrained("ozcangundes/mt5-small-turkish-squad")
def get_answer(question,context):
source_encoding=tokenizer(
question,
context,
max_length=512,
padding="max_length",
truncation="only_second",
return_attention_mask=True,
add_special_tokens=True,
return_tensors="pt")
generated_ids=model.generate(
input_ids=source_encoding["input_ids"],
attention_mask=source_encoding["attention_mask"],
max_length=120)
preds=[tokenizer.decode(gen_id, skip_special_tokens=True, clean_up_tokenization_spaces=True) for gen_id in generated_ids]
return "".join(preds)
# Ejemplo 1
question={
"context":"Pardus, Google'ın öğrencilerle staj ve kendini geliştirme imkânı ile tasarılara geliştirici ve katkı sağlamayı amaçladığı açık kaynak tasarısı Google Summer of Code'a 2008 ve 2009 olmak üzere iki kere katılmıştır. Bu organizasyona ilk katılan Türk tasarısı Pardus olmuştur. Bazı dönemlerde Pardus hakkındaki gelişmeleri halka duyurmak ve tasarıya olan ilgiyi arttırmak amacıyla CeBIT Eurasia Bilişim Fuarı'na katılım sağlanmaktadır. 2006, 2008, 2009, 2010, 2011, 2013 ve 2014 bu fuarlarda Pardus standı kurulmuştur.2014 yılında ICT SummitT Now Bilişim Zirvesi'nde yer alınmıştır. BİLİŞİM’2014 TBD 31. Ulusal Bilişim Kurultayı ve CITEX’2014 Ankara Bilişim Fuarı’na Gümüş sponsorluk ile katkıda bulunulmuş ve Pardus standı kurulmuştur.",
"question":"Pardus’un Google Summer of Code'a katıldığı yıllar nelerdir?"
}
get_answer(question["question"], question["context"])
# Salida: "2008 ve 2009"
# Ejemplo 2
question2={
"context":"II. Bayezid ve I. Selim devrinde yaşadı ve iki defa hekimbaşılık yaptı. Böbrek ve idrar kesesindeki taş oluşumunun nedenlerini ve tedavisini incelediği eseriyle tanınır. Adı kaynaklarda Ahmed ve Mahmud olarak da geçer. Ahi Çelebi olarak ün yapmıştır. Babası Tabib Mevlana Kemal ile birlikte 1463’te İstanbul’a yerleşti. Mevlana Kemal, devrin ünlü hekimlerindendir. Tebriz ya da Şirvan asıllı olduğu çeşitli kaynaklarda belirtilir. Ahi Mehmet Çelebi, hekimliği daha çok babasından öğrendi. Onun ölümünden sonra devrin önemli hekimleri Kutbüddin ile Altunîzâde’den ders alıp kısa zamanda mesleğini ilerletti. Hekimlik becerisinin yanı sıra kuramsal bilgisiyle de kendisini kabul ettirerek önce Fâtih Darüşşifasına hekim, sonra da başhekim oldu. II. Bayezid’in güvenini kazanarak mutfak eminliğine, ardından da Hekimbaşılığa getirildi. Dört buçuk yıl bu görevde kalan Ahî Çelebi, II. Bayezid’in ölümü üzerine geleneğe uyularak azledildi. Bir müddet sonra Yavuz onu tekrar Hekimbaşılığa getirdi ve Mısır seferine beraberinde götürdü. I. Selim'in ölümünden sonra Hekimbaşılık tan tekrar azledildi. Kaynakların belirttiğine göre, yaşı doksanı geçmiş olduğu halde, hacdan dönerken Kahire’de ölmüş ve İmam Şafi'nin kabri civarına defnedilmiştir.",
"question":"Ahi Mehmet Çelebi hangi eseri ile tanınır?"
}
get_answer(question2["question"], question2["context"])
# Salida: "Böbrek ve idrar kesesindeki taş oluşumunun nedenlerini ve tedavisini incelediği eseriyle"
Funcionalidades
- Respuestas a preguntas
- Transformers
- PyTorch
- JAX
- MT5
- Generación de texto a texto
- Compatible con AutoTrain
- Compatible con Endpoints
- Licencia MIT
Casos de uso
- Responder preguntas específicas dentro de un contexto dado.
- Afine modelos multilingües para tareas específicas de preguntas y respuestas en diferentes idiomas.