textattack/distilbert-base-uncased-MRPC

textattack

Clasificación de texto

Este modelo distilbert-base-uncased fue ajustado para la clasificación de secuencias utilizando TextAttack y el conjunto de datos glue cargado usando la biblioteca nlp. El modelo fue ajustado durante 5 épocas con un tamaño de lote de 32, una tasa de aprendizaje de 2e-05 y una longitud máxima de secuencia de 256. Dado que se trataba de una tarea de clasificación, el modelo fue entrenado con una función de pérdida de entropía cruzada. La mejor puntuación que el modelo logró en esta tarea fue 0.8578431372549019, medida por la precisión del conjunto de evaluación, encontrada después de 1 época.

Como usar

El modelo puede ser utilizado siguiendo estos pasos para la clasificación de texto.
from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

tokenizer = AutoTokenizer.from_pretrained('textattack/distilbert-base-uncased-MRPC')
model = AutoModelForSequenceClassification.from_pretrained('textattack/distilbert-base-uncased-MRPC')

inputs = tokenizer('Hola, ¿cómo estás?', return_tensors='pt')
labels = torch.tensor([1]).unsqueeze(0)  # Clase real
outputs = model(**inputs, labels=labels)
loss = outputs.loss
logits = outputs.logits
print(logits)

Funcionalidades

Clasificación de texto
Transformers
PyTorch
Puntos de inferencia

Casos de uso

Clasificación de texto general
Tareas de PNL (Procesamiento del Lenguaje Natural)
Defensa textual adversarial rápida