xlm-v-base-language-id

La forma más sencilla de usar el modelo es con una tubería de clasificación de texto:

from transformers import pipeline

model_id = "juliensimon/xlm-v-base-language-id"
p = pipeline("text-classification", model=model_id)
p("Hello world")
# [{'label': 'English', 'score': 0.9802148342132568}]

El modelo también es compatible con Optimum Intel. Por ejemplo, puedes optimizarlo con Intel OpenVINO y disfrutar de un aumento de velocidad de inferencia de 2x (o más):

from optimum.intel.openvino import OVModelForSequenceClassification
from transformers import AutoTokenizer, pipeline

model_id = "juliensimon/xlm-v-base-language-id"
ov_model = OVModelForSequenceClassification.from_pretrained(model_id)
tokenizer = AutoTokenizer.from_pretrained(model_id)
p = pipeline("text-classification", model=ov_model, tokenizer=tokenizer)
p("Hello world")
# [{'label': 'English', 'score': 0.9802149534225464}]

Una versión OpenVINO del modelo está disponible en el repositorio.