Wan1.3B CausVid LoRA — conversión Misubi/Diffusers

AlekseyCalvin

Texto a video

Adaptador LoRA que acelera la generación de texto o imagen a vídeo con modelos de la familia Wan2.1 1.3B. Convierte al formato Misubi la extracción CausVid originalmente orientada a ComfyUI, con el objetivo de mejorar la compatibilidad con Diffusers, Draw Things y otros entornos ajenos a ComfyUI.

Como usar

Instala las dependencias:
pip install -U diffusers transformers accelerate

Carga Wan2.1 T2V 1.3B como modelo base y aplica el adaptador LoRA:
import torch
from diffusers import DiffusionPipeline
from diffusers.utils import export_to_video

# Cambia a "mps" para dispositivos Apple
pipe = DiffusionPipeline.from_pretrained(
    "Wan-AI/Wan2.1-T2V-1.3B",
    dtype=torch.bfloat16,
    device_map="cuda"
)
pipe.load_lora_weights(
    "AlekseyCalvin/Wan1.3B_CausVid_LoRA_MisubiDiffusers_Conversion"
)

prompt = "A man with short gray hair plays a red electric guitar."
output = pipe(prompt=prompt).frames[0]
export_to_video(output, "output.mp4")

Funcionalidades

Generación acelerada de texto a vídeo e imagen a vídeo mediante CausVid.
Compatible con Wan2.1 T2V 1.3B y modelos derivados como SkyReels V2 y FunINP 1.3B.
Distribuido como adaptador LoRA, no como modelo base independiente.
Conversión al formato Misubi pensada para entornos distintos de ComfyUI.
Uso documentado mediante la biblioteca Diffusers.
Licencia Apache 2.0.

Casos de uso

Acelerar la generación de vídeos a partir de descripciones de texto con Wan2.1 1.3B.
Usar CausVid en aplicaciones locales como Draw Things.
Sustituir la LoRA original de Kijai cuando falla o provoca cierres en entornos ajenos a ComfyUI.
Integrar la aceleración CausVid en flujos basados en Diffusers u otros backends compatibles con el formato Misubi.
Aplicar el adaptador a variantes compatibles de la familia Wan2.1 1.3B.