csarron-bert-base-uncased-squad-v1-ov-fp32

helenai

Pregunta y respuesta

Este es el modelo csarron/bert-base-uncased-squad-v1 convertido a OpenVINO, para una inferencia acelerada.

Como usar

Ejemplo de cómo hacer inferencia en este modelo:
from optimum.intel.openvino import OVModelForQuestionAnswering
from transformers import AutoTokenizer, pipeline

# model_id debe establecerse en un directorio local o un modelo disponible en el hub de HuggingFace.
model_id = "helenai/csarron-bert-base-uncased-squad-v1-ov-fp32"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = OVModelForQuestionAnswering.from_pretrained(model_id)
pipe = pipeline("question-answering", model=model, tokenizer=tokenizer)
result = pipe("¿Qué es OpenVINO?", "OpenVINO es un marco que acelera la inferencia de aprendizaje profundo")
print(result)

Funcionalidades

Aceleración de inferencia con OpenVINO
Modelo BERT
Incorporación de Endpoints de Inferencia

Casos de uso

Responder preguntas usando el modelo BERT