Wan2.2-Lightning

lightx2v
Texto a video

Versión destilada de la familia Wan2.2 para generar vídeo a partir de texto o imágenes. Produce vídeos en solo 4 pasos de inferencia, sin CFG, con una aceleración aproximada de 20 veces y manteniendo una calidad visual y una dinámica de movimiento comparables al modelo base.

Como usar

Instala las dependencias para utilizar el repositorio con Diffusers:

pip install -U diffusers transformers accelerate

Ejemplo básico con Diffusers:

import torch
from diffusers import DiffusionPipeline

# Cambia a "mps" para dispositivos Apple
pipe = DiffusionPipeline.from_pretrained(
    "lightx2v/Wan2.2-Lightning",
    dtype=torch.bfloat16,
    device_map="cuda"
)

prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
image = pipe(prompt).images[0]

Para usar los flujos oficiales, descarga primero el modelo base y los pesos Lightning:

pip install "huggingface_hub[cli]"
huggingface-cli download Wan-AI/Wan2.2-T2V-A14B --local-dir ./Wan2.2-T2V-A14B
huggingface-cli download lightx2v/Wan2.2-Lightning --local-dir ./Wan2.2-Lightning

Generación de texto a vídeo a 720p con una sola GPU:

python generate.py \
  --task t2v-A14B \
  --size "1280*720" \
  --ckpt_dir ./Wan2.2-T2V-A14B \
  --lora_dir ./Wan2.2-Lightning/Wan2.2-T2V-A14B-4steps-lora-rank64-Seko-V1 \
  --offload_model True \
  --base_seed 42 \
  --prompt "Two anthropomorphic cats in comfy boxing gear and bright gloves fight intensely on a spotlighted stage."

Generación de imagen a vídeo:

python generate.py \
  --task i2v-A14B \
  --size "1280*720" \
  --ckpt_dir ./Wan2.2-I2V-A14B \
  --lora_dir ./Wan2.2-Lightning/Wan2.2-I2V-A14B-4steps-lora-rank64-Seko-V1 \
  --offload_model True \
  --base_seed 42 \
  --prompt_file examples/i2v_prompt_list.txt \
  --image_path_file examples/i2v_image_path_list.txt

La inferencia indicada requiere una GPU con al menos 80 GB de VRAM. En caso de falta de memoria pueden utilizarse --offload_model True, --convert_model_dtype y --t5_cpu. En imagen a vídeo, --size representa el área del vídeo y la relación de aspecto se toma de la imagen original.

Funcionalidades

Generación de texto a vídeo e imagen a vídeo.
Inferencia destilada en solo 4 pasos, sin necesidad de CFG.
Compatibilidad con vídeos de 480p y 720p, en orientación vertical u horizontal.
Variantes basadas en Wan2.2 T2V-A14B e I2V-A14B.
Flujos de trabajo nativos para ComfyUI y compatibilidad con el wrapper de Kijai.
Inferencia en una GPU con descarga de componentes a memoria y ejecución multi-GPU mediante PyTorch FSDP y DeepSpeed Ulysses.
Ampliación opcional de prompts mediante la API de DashScope o modelos Qwen locales.
Licencia Apache 2.0.

Casos de uso

Crear vídeos de alta calidad a partir de descripciones textuales con una inferencia de cuatro pasos.
Animar una imagen fija conservando su relación de aspecto.
Generar clips a 480p o 720p para prototipos creativos, animación y producción audiovisual.
Integrar generación rápida de vídeo en flujos de trabajo de ComfyUI.
Procesar lotes de prompts mediante inferencia distribuida en varias GPU.