cnmoro/bert-tiny-question-classifier

cnmoro

Clasificación de texto

Una versión afinada de prajjwal1/bert-tiny. El objetivo es clasificar preguntas en "Dirigidas" o "Genéricas". Si una pregunta no está dirigida, cambiaríamos las acciones que realizamos en una tubería RAG (si es genérica, la búsqueda semántica no sería útil directamente; por ejemplo, pedir un resumen). La precisión en el conjunto de datos de entrenamiento es de aproximadamente 87.5%.

Como usar

from transformers import BertForSequenceClassification, BertTokenizerFast
import torch

# Cargar el modelo y el tokenizador
model = BertForSequenceClassification.from_pretrained("cnmoro/bert-tiny-question-classifier")
tokenizer = BertTokenizerFast.from_pretrained("cnmoro/bert-tiny-question-classifier")

def es_pregunta_generica(pregunta):
    # Tokenizar la frase y convertir a tensores PyTorch
    inputs = tokenizer(
        pregunta.lower(),
        truncation=True,
        padding=True,
        return_tensors="pt",
        max_length=512
    )

    # Obtener las predicciones del modelo
    with torch.no_grad():
        outputs = model(**inputs)

    # Extraer la predicción
    predictions = outputs.logits
    predicted_class = torch.argmax(predictions).item()

    return int(predicted_class) == 0

Funcionalidades

Clasificación de preguntas en Dirigidas o Genéricas
Basado en Transformers
Modelo afinado con prajjwal1/bert-tiny
Soporte para Tensor type F32

Casos de uso

Clasificación automática de preguntas para determinar si son genéricas o dirigidas
Modificación de acciones en tuberías RAG en función del tipo de pregunta
Enriquecimiento de sistemas de búsqueda semántica