minuva/MiniLMv2-agentflow-v2-onnx
minuva
Clasificación de texto
Este modelo identifica eventos y patrones comunes de agentes LLM dentro del flujo de conversación. Dichos eventos incluyen una disculpa, donde el LLM reconoce un error. Las etiquetas de flujo pueden servir como elementos fundamentales para análisis sofisticados de LLM. Está cuantizado por ONNX y es una versión ajustada de MiniLMv2-L6-H384.
Como usar
Para usar el modelo:
from optimum.onnxruntime import ORTModelForSequenceClassification
from transformers import AutoTokenizer, pipeline
model = ORTModelForSequenceClassification.from_pretrained('minuva/MiniLMv2-agentflow-v2-onnx', provider="CPUExecutionProvider")
tokenizer = AutoTokenizer.from_pretrained('minuva/MiniLMv2-agentflow-v2-onnx', use_fast=True, model_max_length=256, truncation=True, padding='max_length')
pipe = pipeline(task='text-classification', model=model, tokenizer=tokenizer, )
texts = ["My apologies", "Im not sure what you mean"]
pipe(texts)
# [{'label': 'agent_apology_error_mistake', 'score': 0.9967106580734253},
# {'label': 'agent_didnt_understand', 'score': 0.9975798726081848}]
Funcionalidades
- Cuantización con ONNX
- Ajuste fino de MiniLMv2-L6-H384
- Compatible con Optimum y ONNXRuntime
- Clasificación de texto
- Compatible con AutoTrain
- Licencia Apache 2.0
Casos de uso
- Identificación de eventos de disculpa del agente.
- Reconocimiento de errores cometidos por el agente.
- Clasificación de textos en diálogos de agentes LLM.