LocalDoc/language_detection

Puedes usar este modelo directamente con un pipeline para clasificación de textos, o puedes usarlo con la biblioteca transformers para un uso más personalizado, como se muestra en el ejemplo a continuación.

# Primero, instala la biblioteca transformers si no lo has hecho ya:
pip install transformers

from transformers import AutoModelForSequenceClassification, XLMRobertaTokenizer
import torch

# Cargar el tokenizador y el modelo
tokenizer = XLMRobertaTokenizer.from_pretrained("LocalDoc/language_detection")
model = AutoModelForSequenceClassification.from_pretrained("LocalDoc/language_detection")

# Preparar el texto
text = "Əlqasım oğulları vorzakondu"
encoded_input = tokenizer(text, return_tensors='pt', truncation=True, max_length=512)

# Predicción
model.eval()
with torch.no_grad():
outputs = model(**encoded_input)

# Procesar las salidas
logits = outputs.logits
probabilities = torch.nn.functional.softmax(logits, dim=-1)
predicted_class_index = probabilities.argmax().item()
labels = ["az", "ar", "bg", "de", "el", "en", "es", "fr", "hi", "it", "ja", "nl", "pl", "pt", "ru", "sw", "th", "tr", "ur", "vi", "zh"]
predicted_label = labels[predicted_class_index]
print(f"Idioma Predicho: {predicted_label}")