RM-Gemma-7B
weqweasdas
Clasificación de texto
El modelo de recompensa RM-Gemma-7B es un modelo de clasificación de secuencias basado en transformers, entrenado a partir del modelo base google/gemma-7b-it. Se han utilizado diversas estrategias de selección y limpieza de datos para entrenar el modelo, y se ha utilizado un script de entrenamiento específico para ajustar el modelo finamente.
Como usar
from transformers import AutoTokenizer, pipeline
rm_tokenizer = AutoTokenizer.from_pretrained("weqweasdas/RM-Gemma-7B")
device = 0 # accelerator.device
rm_pipe = pipeline(
"sentiment-analysis",
model="weqweasdas/RM-Gemma-7B",
#device="auto",
device=device,
tokenizer=rm_tokenizer,
model_kwargs={"torch_dtype": torch.bfloat16}
)
pipe_kwargs = {
"return_all_scores": True,
"function_to_apply": "none",
"batch_size": 1
}
chat = [
{"role": "user", "content": "Hello, how are you?"},
{"role": "assistant", "content": "I'm doing great. How can I help you today?"},
{"role": "user", "content": "I'd like to show off how chat templating works!"},
]
test_texts = [tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=False).replace(tokenizer.bos_token, "")]
pipe_outputs = rm_pipe(test_texts, **pipe_kwargs)
rewards = [output[0]["score"] for output in pipe_outputs]
Funcionalidades
- Clasificación de texto
- Compatible con AutoTrain
- Inference para generación de texto
- Compatible con Endpoints de Inferencia
- Usa Safetensors
- Región: EE.UU.
Casos de uso
- Análisis de sentimientos
- Clasificación de secuencias
- Evaluación de datos de preferencia
- Punto de partida para Fine-Tuning con muestreo por rechazo