notdiamond-0001
notdiamond-0001 determina automáticamente si enviar consultas a GPT-3.5 o GPT-4, dependiendo de cuál modelo sea más adecuado para tu tarea. Hemos entrenado notdiamond-0001 con cientos de miles de puntos de datos de robustos benchmarks de evaluación de dominios cruzados. Este enrutador es gratuito bajo la licencia Apache 2.0. También puedes acceder a un enrutador mucho más potente desde nuestra API, que admite muchos más modelos. El modelo enrutador notdiamond-0001 es un clasificador y retornará una etiqueta para GPT-3.5 o GPT-4. Determinas qué versión de cada modelo quieres usar y realizas las llamadas del lado del cliente con tus propias claves.
Como usar
Para usar notdiamond-0001, formatea tus consultas utilizando el siguiente prompt con tu consulta adjunta al final
query = "¿Puedes escribir una función que cuente del 1 al 10?"
formatted_prompt = f"""Determine si la siguiente consulta debe enviarse a GPT-3.5 o GPT-4.
Consulta:
{query}"""
Luego puedes determinar el modelo a llamar de la siguiente manera
import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification
id2label = {0: 'gpt-3.5', 1: 'gpt-4'}
tokenizer = AutoTokenizer.from_pretrained("notdiamond/notdiamond-0001")
model = AutoModelForSequenceClassification.from_pretrained("notdiamond/notdiamond-0001")
inputs = tokenizer(formatted_prompt, truncation=True, max_length=512, return_tensors="pt")
logits = model(**inputs).logits
model_id = logits.argmax().item()
model_to_call = id2label[model_id]
Funcionalidades
- Clasificación de texto
- Transformers
- PyTorch
- Endpoints de Inferencia
Casos de uso
- Determinar el modelo de lenguaje más adecuado para una tarea específica.
- Optimización de la calidad y latencia en aplicaciones que utilizan modelos de lenguaje.
- Reducción de costos al seleccionar dinámicamente entre diferentes modelos.