nguyennghia0902/electra-small-discriminator_0.0001_16_15e
nguyennghia0902
Pregunta y respuesta
Este modelo es una versión afinada de google/electra-small-discriminator en un conjunto de datos en vietnamita. Logra los siguientes resultados en el conjunto de evaluación: Pérdida de entrenamiento: 0.4315 Exactitud de Logits de Fin de Entrenamiento: 0.8714 Exactitud de Logits de Inicio de Entrenamiento: 0.8580 Pérdida de Validación: 0.1470 Exactitud de Logits de Fin de Validación: 0.9577 Exactitud de Logits de Inicio de Validación: 0.9542 Exactitud de Compatibilidad en la Prueba: 0.90209 Época: 15 Tiempo de entrenamiento: 21920.9752 segundos ~ 6.09 horas
Como usar
from transformers import ElectraTokenizerFast, TFElectraForQuestionAnswering
model_hf = "nguyennghia0902/electra-small-discriminator_0.0001_16_15e"
tokenizer = ElectraTokenizerFast.from_pretrained(model_hf)
reload_model = TFElectraForQuestionAnswering.from_pretrained(model_hf)
question = "Ký túc xá Đại học Quốc gia Thành phố Hồ Chí Minh bao gồm có bao nhiêu khu?"
context = "Ký túc xá Đại học Quốc gia Thành phố Hồ Chí Minh (Ký túc xá ĐHQG-TPHCM) là hệ thống ký túc xá xây tại Khu đô thị Đại học Quốc gia Thành phố Hồ Chí Minh (còn gọi với tên phổ biến: Khu đô thị ĐHQG-HCM hay Làng Đại học Thủ Đức). Ký túc xá ĐHQG-TPHCM gồm có 02 khu: A và B. Địa chỉ: Đường Tạ Quang Bửu, Khu phố 6, phường Linh Trung, thành phố Thủ Đức, Thành phố Hồ Chí Minh, điện thoại: 1900 05 55 59 (111). "
inputs = tokenizer(question, context, return_offsets_mapping=True, return_tensors="tf", max_length=512, truncation=True)
offset_mapping = inputs.pop("offset_mapping")
outputs = reload_model(**inputs)
answer_start_index = int(tf.math.argmax(outputs.start_logits, axis=-1)[0])
answer_end_index = int(tf.math.argmax(outputs.end_logits, axis=-1)[0])
start_char = offset_mapping[0][answer_start_index][0]
end_char = offset_mapping[0][answer_end_index][1]
predicted_answer_text = context[start_char:end_char]
print(predicted_answer_text)
Funcionalidades
- Pérdida de entrenamiento: 0.4315
- Exactitud de Logits de Fin de Entrenamiento: 0.8714
- Exactitud de Logits de Inicio de Entrenamiento: 0.8580
- Pérdida de Validación: 0.1470
- Exactitud de Logits de Fin de Validación: 0.9577
- Exactitud de Logits de Inicio de Validación: 0.9542
- Exactitud de Compatibilidad en la Prueba: 0.90209
- Época: 15
- Tiempo de entrenamiento: 21920.9752 segundos ~ 6.09 horas
- Tasa de aprendizaje: 1e-4
- Tamaño del lote: 16
- Optimizador: Adam
- Precisión de entrenamiento: float32
- Bibliotecas utilizadas: transformers 4.39.3, TensorFlow 2.15.0, Datasets 2.18.0, Tokenizers 0.15.2
Casos de uso
- Respuestas a preguntas en vietnamita
- Análisis de texto
- Generación de respuestas automáticas