Falconsai/question_answering_v2
El modelo aquí presentado es una iteración mejorada del modelo DistilBERT-base-uncased, entrenado meticulosamente con un conjunto de datos actualizado. Aprovechando la arquitectura subyacente de DistilBERT, una variante compacta de BERT optimizada para la eficiencia, este modelo está hecho a medida para tareas de procesamiento de lenguaje natural con un enfoque principal en la respuesta a preguntas. Su entrenamiento involucró la exposición a un conjunto de datos diverso y contemporáneo, asegurando su adaptabilidad a una amplia gama de matices lingüísticos e intricaciones semánticas. El proceso de ajuste fino refina la comprensión del contexto por parte del modelo, permitiéndole sobresalir en tareas que requieren comprensión matizada y razonamiento contextual, convirtiéndolo en una solución robusta para aplicaciones de preguntas y respuestas en procesamiento de lenguaje natural.
Como usar
from transformers import pipeline
question = "What would to the carmine pigment if not used diligently?"
context = "The painters of the early Renaissance used two traditional lake pigments, made from mixing dye with either chalk or alum, kermes lake, made from kermes insects, and madder lake, made from the rubia tinctorum plant. With the arrival of cochineal, they had a third, carmine, which made a very fine crimson, though it had a tendency to change color if not used carefully. It was used by almost all the great painters of the 15th and 16th centuries, including Rembrandt, Vermeer, Rubens, Anthony van Dyck, Diego Velázquez and Tintoretto. Later it was used by Thomas Gainsborough, Seurat and J.M.W. Turner."
question_answerer = pipeline("question-answering", model="Falconsai/question_answering_v2")
question_answerer(question=question, context=context)
from transformers import AutoTokenizer
from transformers import AutoModelForQuestionAnswering
question = "On which date did Swansea City play its first Premier League game?"
context = "In 2011, a Welsh club participated in the Premier League for the first time after Swansea City gained promotion. The first Premier League match to be played outside England was Swansea City's home match at the Liberty Stadium against Wigan Athletic on 20 August 2011. In 2012-13, Swansea qualified for the Europa League by winning the League Cup. The number of Welsh clubs in the Premier League increased to two for the first time in 2013-14, as Cardiff City gained promotion, but Cardiff City was relegated after its maiden season."
tokenizer = AutoTokenizer.from_pretrained("Falconsai/question_answering_v2")
inputs = tokenizer(question, context, return_tensors="pt")
model = AutoModelForQuestionAnswering.from_pretrained("Falconsai/question_answering_v2")
with torch.no_grad():
outputs = model(**inputs)
answer_start_index = outputs.start_logits.argmax()
answer_end_index = outputs.end_logits.argmax()
predict_answer_tokens = inputs.input_ids[0, answer_start_index : answer_end_index + 1]
tokenizer.decode(predict_answer_tokens)
Funcionalidades
- Modelo ajustado específicamente para la tarea de respuesta a preguntas.
- Basado en DistilBERT-base-uncased, optimizado para eficiencia y menor consumo de recursos computacionales.
- Exposición a un conjunto de datos diverso para una mejor comprensión del contexto y respuesta precisa.
- Mantiene una parte sustancial de las capacidades de rendimiento de BERT mientras demanda menos recursos computacionales.
- Proceso de destilación del conocimiento para crear una representación efectiva del entendimiento del lenguaje.
Casos de uso
- Clasificación de texto
- Análisis de sentimientos
- Reconocimiento de entidades nombradas
- Respuesta a preguntas en diversas aplicaciones de procesamiento de lenguaje natural