QAmembert-large

CATIE-AQ
Pregunta y respuesta

Presentamos QAmemBERT, un modelo CamemBERT grande afinado para la tarea de Pregunta-Respuesta en francés utilizando cuatro conjuntos de datos franceses Q&A compuestos por contextos y preguntas con sus respuestas dentro del contexto (formato SQuAD 1.0) pero también contextos y preguntas con sus respuestas fuera del contexto (formato SQuAD 2.0). Todos estos conjuntos de datos fueron concatenados en un único conjunto de datos que llamamos frenchQA. Esto representa un total de más de 221,348 tripletas contexto/pregunta/respuesta utilizadas para afinar este modelo y 6,376 para probarlo. Nuestra metodología se describe en una publicación de blog disponible en inglés o francés.

Como usar

from transformers import pipeline

qa = pipeline('question-answering', model='CATIE-AQ/QAmembert-large', tokenizer='CATIE-AQ/QAmembert-large')

result = qa({
'question': "Combien de personnes utilisent le français tous les jours ?",
'context': "Le français est une langue indo-européenne de la famille des langues romanes dont les locuteurs sont appelés francophones. Elle est parfois surnommée la langue de Molière. Le français est parlé, en 2023, sur tous les continents par environ 321 millions de personnes : 235 millions l'emploient quotidiennement et 90 millions en sont des locuteurs natifs. En 2018, 80 millions d'élèves et étudiants s'instruisent en français dans le monde. Selon l'Organisation internationale de la francophonie (OIF), il pourrait y avoir 700 millions de francophones sur Terre en 2050."
})

if result['score'] 0.01:
  print("La respuesta no está en el contexto proporcionado.")
else:
  print(result['answer'])

result

{'score': 0.9876325726509094,
 'start': 268,
 'end': 281,
 'answer': ' 235 millions'}
from transformers import pipeline

qa = pipeline('question-answering', model='CATIE-AQ/QAmembert-large', tokenizer='CATIE-AQ/QAmembert-large')

result = qa({
'question': "Quel est le meilleur vin du monde ?",
'context': "La tour Eiffel est une tour de fer puddlé de 330 m de hauteur (avec antennes) située à Paris, à l’extrémité nord-ouest du parc du Champ-de-Mars en bordure de la Seine dans le 7e arrondissement. Son adresse officielle est 5, avenue Anatole-France. Construite en deux ans par Gustave Eiffel et ses collaborateurs pour l'Exposition universelle de Paris de 1889, célébrant le centenaire de la Révolution française, et initialement nommée « tour de 300 mètres », elle est devenue le symbole de la capitale française et un site touristique de premier plan : il s’agit du quatrième site culturel français payant le plus visité en 2016, avec 5,9 millions de visiteurs. Depuis son ouverture au public, elle a accueilli plus de 300 millions de visiteurs."
})

if result['score'] 0.01:
  print("La respuesta no está en el contexto proporcionado.")
else:
  print(result['answer'])

result

{'score': 1.1262776822285048e-10,
 'start': 735,
 'end': 746,
 'answer': 'visiteurs.'}

Funcionalidades

Respuesta a preguntas
Afinado con datos en francés
Compatibilidad con diferentes formatos de preguntas y respuestas (SQuAD 1.0 y SQuAD 2.0)
Utiliza el modelo CamemBERT
Calcula métricas Exact_match y F1-score
Se concatenaron varios conjuntos de datos para crear frenchQA

Casos de uso

Responder preguntas basadas en el contexto proporcionado
Realizar tareas de preguntas y respuestas en francés
Integración en chatbots o sistemas de atención al cliente en francés
Análisis de textos en francés para la recuperación de información específica