QAmembert

CATIE-AQ
Pregunta y respuesta

Presentamos QAmemBERT, que es un modelo base de CamemBERT ajustado para la tarea de Preguntas y Respuestas en francés en cuatro conjuntos de datos de preguntas y respuestas en francés compuestos por contextos y preguntas con sus respuestas dentro del contexto (formato SQuAD 1.0) pero también contextos y preguntas con sus respuestas no dentro del contexto (formato SQuAD 2.0). Todos estos conjuntos de datos se concatenaron en un único conjunto de datos denominado frenchQA. Esto representa un total de más de 221,348 tripletas de contexto/pregunta/respuesta utilizadas para ajustar este modelo y 6,376 para evaluarlo. Nuestra metodología se describe en una publicación de blog disponible en inglés o francés.

Como usar

Ejemplo con respuesta en el contexto

from transformers import pipeline

qa = pipeline('question-answering', model='CATIE-AQ/QAmembert', tokenizer='CATIE-AQ/QAmembert')

result = qa({
    'question': '¿Cuántas personas usan el francés cada día?',
    'context': 'El francés es una lengua indoeuropea de la familia de lenguas romances cuyos hablantes se llaman francófonos. A veces se le llama la lengua de Molière. En 2023, el francés se hablará en todos los continentes por alrededor de 321 millones de personas: 235 millones lo usan diariamente y 90 millones son hablantes nativos. En 2018, 80 millones de alumnos y estudiantes se instruyen en francés en todo el mundo. Según la Organización Internacional de la Francofonía (OIF), podría haber 700 millones de francófonos en la Tierra en 2050.'
})

if result['score'] >= 0.01:
    print(result['answer'])
else:
    print('La respuesta no está en el contexto proporcionado.')

Ejemplo con respuesta no en el contexto

from transformers import pipeline

qa = pipeline('question-answering', model='CATIE-AQ/QAmembert', tokenizer='CATIE-AQ/QAmembert')

result = qa({
    'question': '¿Cuál es el mejor vino del mundo?',
    'context': 'La torre Eiffel es una torre de hierro pudelado de 330 m de altura (con antenas) situada en París, en el extremo noroeste del parque Champ-de-Mars junto al río Sena en el distrito 7. Su dirección oficial es 5, avenida Anatole-France.
Construida en dos años por Gustave Eiffel y sus colaboradores para la Exposición Universal de París de 1889, celebrando el centenario de la Revolución Francesa, y originalmente llamada «torre de 300 metros», se ha convertido en el símbolo de la capital francesa y un sitio turístico de primer orden: es el cuarto sitio cultural francés de pago más visitado en 2016, con 5,9 millones de visitantes. Desde su apertura al público, ha recibido más de 300 millones de visitantes.'
})

if result['score'] < 0.01:
    print('La respuesta no está en el contexto proporcionado.')
else:
    print(result['answer'])

Funcionalidades

Transformers
PyTorch
Safetensors
Función de preguntas y respuestas
Entrenado en varios conjuntos de datos en francés
Concatenación de diversos conjuntos de datos en frenchQA
Capacidad de manejar contextos con o sin respuestas

Casos de uso

Respuestas a preguntas en francés
Generación de respuestas basadas en contextos dados
Integración en sistemas de atención al cliente para responder preguntas frecuentes
Apoyo en procesos educativos proporcionando respuestas automáticas a preguntas basadas en textos