protectai/xlm-roberta-base-language-detection-onnx

protectai
Clasificaci贸n de texto

Este modelo es una conversi贸n de papluca/xlm-roberta-base-language-detection al formato ONNX utilizando la librer铆a 馃 Optimum. Es una versi贸n ajustada del modelo xlm-roberta-base en el conjunto de datos de Identificaci贸n de Lenguaje. Este modelo es un transformador XLM-RoBERTa con una cabeza de clasificaci贸n en la parte superior (es decir, una capa lineal en la salida agrupada). Para informaci贸n adicional, por favor, consulte la tarjeta del modelo xlm-roberta-base o el art铆culo 'Unsupervised Cross-lingual Representation Learning at Scale' por Conneau et al.

Como usar

from optimum.onnxruntime import ORTModelForSequenceClassification
from transformers import AutoTokenizer, pipeline

tokenizer = AutoTokenizer.from_pretrained("laiyer/xlm-roberta-base-language-detection-onnx")
model = ORTModelForSequenceClassification.from_pretrained("laiyer/xlm-roberta-base-language-detection-onnx")
classifier = pipeline(
    task="text-classification",
    model=model,
    tokenizer=tokenizer,
    top_k=None,
)

classifier_output = classifier("It's not toxic comment")
print(classifier_output)

Funcionalidades

Conversi贸n a formato ONNX
Ajustado en el conjunto de datos de Identificaci贸n de Lenguaje
Modelo de transformador XLM-RoBERTa
Cabeza de clasificaci贸n en la parte superior
Requiere la librer铆a 馃 Optimum

Casos de uso

Detector de idioma, es decir, para tareas de clasificaci贸n de secuencias