Portuguese BERT base cased QA (Question Answering), finetuned on SQUAD v1.1
pierreguillou
Pregunta y respuesta
El modelo fue entrenado en el conjunto de datos SQUAD v1.1 en portugués del grupo Deep Learning Brasil en Google Colab. El modelo de lenguaje utilizado es el BERTimbau Base (también conocido como 'bert-base-portuguese-cased') de Neuralmind.ai. BERTimbau Base es un modelo BERT preentrenado para portugués brasileño que logra un rendimiento de vanguardia en tres tareas NLP: Reconocimiento de Entidades Nombradas, Similitud Textual de Oraciones y Reconocimiento de Inferencias Textuales. Está disponible en dos tamaños: Base y Large.
Como usar
import transformers
from transformers import pipeline
# fuente: https://pt.wikipedia.org/wiki/Pandemia_de_COVID-19
context = r'''
A pandemia de COVID-19, também conhecida como pandemia de coronavírus, é uma pandemia em curso de COVID-19,
uma doença respiratória aguda causada pelo coronavírus da síndrome respiratória aguda grave 2 (SARS-CoV-2).
A doença foi identificada pela primeira vez em Wuhan, na província de Hubei, República Popular da China,
em 1 de dezembro de 2019, mas o primeiro caso foi reportado em 31 de dezembro do mesmo ano.
Acredita-se que o vírus tenha uma origem zoonótica, porque os primeiros casos confirmados
tinham principalmente ligações ao Mercado Atacadista de Frutos do Mar de Huanan, que também vendia animais vivos.
Em 11 de março de 2020, a Organização Mundial da Saúde declarou o surto uma pandemia. Até 8 de fevereiro de 2021,
pelo menos 105 743 102 casos da doença foram confirmados em pelo menos 191 países e territórios,
com cerca de 2 308 943 mortes e 58 851 440 pessoas curadas.
'''
model_name = 'pierreguillou/bert-base-cased-squad-v1.1-portuguese'
nlp = pipeline('question-answering', model=model_name)
question = 'Quando começou a pandemia de Covid-19 no mundo?'
result = nlp(question=question, context=context)
print(f"Answer: '{result['answer']}', score: {round(result['score'], 4)}, start: {result['start']}, end: {result['end']}")
# Respuesta: '1 de dezembro de 2019', puntuación: 0.713, inicio: 328, fin: 349
from transformers import AutoTokenizer, AutoModelForQuestionAnswering
tokenizer = AutoTokenizer.from_pretrained('pierreguillou/bert-base-cased-squad-v1.1-portuguese')
model = AutoModelForQuestionAnswering.from_pretrained('pierreguillou/bert-base-cased-squad-v1.1-portuguese')
# también puedes clonar el repositorio del modelo:
git lfs install
git clone https://huggingface.co/pierreguillou/bert-base-cased-squad-v1.1-portuguese
# si deseas clonar sin archivos grandes - sólo sus punteros
# prepende tu comando git clone con la siguiente variable env:
GIT_LFS_SKIP_SMUDGE=1
Funcionalidades
- Pregunta-respuesta
- Transformadores
- PyTorch
- TensorFlow
- JAX
Casos de uso
- Recuperación de información
- Búsqueda de respuestas en documentos
- Asistentes virtuales en portugués