alibaba-pai/Wan2.1-Fun-Reward-LoRAs

alibaba-pai

Texto a video

Conjunto de LoRAs de recompensa para Wan2.1-Fun orientadas a mejorar la alineación de los videos generados con preferencias humanas mediante Reward Backpropagation. Incluye adaptadores para los modelos base Wan2.1-Fun-1.3B-InP y Wan2.1-Fun-14B-InP, entrenados con modelos de recompensa HPS v2.1 y MPS para usarse como complemento del modelo base o como referencia para entrenar LoRAs de recompensa propios.

Como usar

Uso con VideoX Fun:
# No code snippets available yet for this library.
# To use this model, check the repository files and the library's documentation.
# Want to help? PRs adding snippets are welcome at:
# https://github.com/huggingface/huggingface.js

Inicio rápido: configurar lora_path y lora_weight en examples/wan2.1_fun/predict_t2v.py para cargar el LoRA de recompensa correspondiente sobre el modelo base Wan2.1-Fun.

Funcionalidades

LoRAs oficiales para Wan2.1-Fun-1.3B-InP y Wan2.1-Fun-14B-InP.
Versiones entrenadas con recompensas HPS v2.1 y MPS.
Arquitectura LoRA con rank=128 y network_alpha=64.
Diseñado para mejorar la preferencia humana percibida en generación de video.
Incluye script de entrenamiento para crear LoRAs de recompensa propios.
En los ejemplos, los pesos usados son 0.5 o 0.7 para HPS v2.1 y 0.7 para MPS según el modelo base.
No está desplegado actualmente en proveedores de inferencia de Hugging Face.

Casos de uso

Mejorar videos generados por Wan2.1-Fun para que se ajusten mejor a preferencias humanas.
Añadir un LoRA de recompensa como complemento a Wan2.1-Fun-1.3B-InP o Wan2.1-Fun-14B-InP.
Experimentar con Reward Backpropagation en generación de video.
Comparar efectos de recompensas HPS v2.1 y MPS en prompts de texto a video.
Entrenar LoRAs de recompensa propios usando los modelos publicados como referencia.