QAmembert
Presentamos QAmemBERT, que es un modelo base de CamemBERT ajustado para la tarea de Preguntas y Respuestas en francés en cuatro conjuntos de datos de preguntas y respuestas en francés compuestos por contextos y preguntas con sus respuestas dentro del contexto (formato SQuAD 1.0) pero también contextos y preguntas con sus respuestas no dentro del contexto (formato SQuAD 2.0). Todos estos conjuntos de datos se concatenaron en un único conjunto de datos denominado frenchQA. Esto representa un total de más de 221,348 tripletas de contexto/pregunta/respuesta utilizadas para ajustar este modelo y 6,376 para evaluarlo. Nuestra metodología se describe en una publicación de blog disponible en inglés o francés.
Como usar
Ejemplo con respuesta en el contexto
from transformers import pipeline
qa = pipeline('question-answering', model='CATIE-AQ/QAmembert', tokenizer='CATIE-AQ/QAmembert')
result = qa({
'question': '¿Cuántas personas usan el francés cada día?',
'context': 'El francés es una lengua indoeuropea de la familia de lenguas romances cuyos hablantes se llaman francófonos. A veces se le llama la lengua de Molière. En 2023, el francés se hablará en todos los continentes por alrededor de 321 millones de personas: 235 millones lo usan diariamente y 90 millones son hablantes nativos. En 2018, 80 millones de alumnos y estudiantes se instruyen en francés en todo el mundo. Según la Organización Internacional de la Francofonía (OIF), podría haber 700 millones de francófonos en la Tierra en 2050.'
})
if result['score'] >= 0.01:
print(result['answer'])
else:
print('La respuesta no está en el contexto proporcionado.')
Ejemplo con respuesta no en el contexto
from transformers import pipeline
qa = pipeline('question-answering', model='CATIE-AQ/QAmembert', tokenizer='CATIE-AQ/QAmembert')
result = qa({
'question': '¿Cuál es el mejor vino del mundo?',
'context': 'La torre Eiffel es una torre de hierro pudelado de 330 m de altura (con antenas) situada en París, en el extremo noroeste del parque Champ-de-Mars junto al río Sena en el distrito 7. Su dirección oficial es 5, avenida Anatole-France.
Construida en dos años por Gustave Eiffel y sus colaboradores para la Exposición Universal de París de 1889, celebrando el centenario de la Revolución Francesa, y originalmente llamada «torre de 300 metros», se ha convertido en el símbolo de la capital francesa y un sitio turístico de primer orden: es el cuarto sitio cultural francés de pago más visitado en 2016, con 5,9 millones de visitantes. Desde su apertura al público, ha recibido más de 300 millones de visitantes.'
})
if result['score'] < 0.01:
print('La respuesta no está en el contexto proporcionado.')
else:
print(result['answer'])
Funcionalidades
- Transformers
- PyTorch
- Safetensors
- Función de preguntas y respuestas
- Entrenado en varios conjuntos de datos en francés
- Concatenación de diversos conjuntos de datos en frenchQA
- Capacidad de manejar contextos con o sin respuestas
Casos de uso
- Respuestas a preguntas en francés
- Generación de respuestas basadas en contextos dados
- Integración en sistemas de atención al cliente para responder preguntas frecuentes
- Apoyo en procesos educativos proporcionando respuestas automáticas a preguntas basadas en textos