CodeGoat24/Wan2.2-T2V-A14B-UnifiedReward-Flex-lora

CodeGoat24

Texto a video

LoRA de texto a video basado en Wan-AI/Wan2.2-T2V-A14B, entrenado con GRPO usando UnifiedReward-Flex como modelo de recompensa sobre el conjunto de entrenamiento de UniGenBench. Está orientado a mejorar la generación visual personalizada en video mediante señales de recompensa unificadas.

Como usar

Instalación y uso con Diffusers:
pip install -U diffusers transformers accelerate

import torch
from diffusers import DiffusionPipeline

# switch to "mps" for apple devices
pipe = DiffusionPipeline.from_pretrained(
    "CodeGoat24/Wan2.2-T2V-A14B-UnifiedReward-Flex-lora",
    dtype=torch.bfloat16,
    device_map="cuda"
)

prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
image = pipe(prompt).images[0]

Funcionalidades

Modelo de texto a video compatible con Diffusers.
Ajuste LoRA sobre la base Wan2.2-T2V-A14B.
Entrenado con GRPO usando UnifiedReward-Flex como recompensa.
Relacionado con el artículo arXiv 2602.02380, Unified Personalized Reward Model for Vision Generation.
Licencia MIT.
No aparece desplegado en proveedores de inferencia de Hugging Face en la página proporcionada.

Casos de uso

Generar videos a partir de prompts de texto usando la arquitectura Wan2.2-T2V-A14B.
Experimentar con modelos de recompensa personalizados para generación visual.
Evaluar mejoras de alineación o preferencia visual derivadas de UnifiedReward-Flex.
Investigación reproducible relacionada con UniGenBench y generación de visión personalizada.