RM-Mistral-7B

weqweasdas

Clasificación de texto

El modelo de recompensa está entrenado a partir del modelo base mistralai/Mistral-7B-Instruct-v0.2. El guion de entrenamiento está disponible en https://github.com/WeiXiongUST/RLHF-Reward-Modeling. También ver un blog corto para detalles del entrenamiento (mezcla de datos, parámetros...) en: https://www.notion.so/Reward-Modeling-for-RLHF-abe03f9afdac42b9a5bee746844518d0

Como usar

from transformers import AutoTokenizer, pipeline
rm_tokenizer = AutoTokenizer.from_pretrained("weqweasdas/RM-Mistral-7B")
device = 0 # accelerator.device
rm_pipe = pipeline(
    "sentiment-analysis",
    model="weqweasdas/RM-Mistral-7B",
    device=device,
    tokenizer=rm_tokenizer,
    model_kwargs={"torch_dtype": torch.bfloat16}
)

pipe_kwargs = {
    "return_all_scores": True,
    "function_to_apply": "none",
    "batch_size": 1
}

chat = [
    {"role": "user", "content": "Hello, how are you?"},
    {"role": "assistant", "content": "I'm doing great. How can I help you today?"},
    {"role": "user", "content": "I'd like to show off how chat templating works!"},
]

test_texts = [tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=False).replace(tokenizer.bos_token, "")]
pipe_outputs = rm_pipe(test_texts, **pipe_kwargs)
rewards = [output[0]["score"] for output in pipe_outputs]

Funcionalidades

Clasificación de texto
Compatible con AutoTrain
Inferencia de generación de texto
Compatible con Endpoints de Inferencia
Transformers
Utiliza Safetensors
Entrenamiento con varias datasets como HH-RLHF, SHP, UltraFeedback, Capybara, HelpSteer y Orca
Descarte de muestras ruidosas y emparejamientos con puntuaciones iguales

Casos de uso

Clasificación de sentimiento
Modelado de recompensa en sistemas RLHF
Investigación y desarrollo en entrenamiento con retroalimentación humana
Análisis de interacción entre usuarios y asistentes virtuales