Wan2.2-T2V-A14B

Yazan1238

Texto a video

Modelo abierto de generación de texto a vídeo de la familia Wan2.2. Emplea una arquitectura de mezcla de expertos (MoE) con unos 27.000 millones de parámetros totales y 14.000 millones activos por paso: un experto organiza la escena durante las fases de alto ruido y otro refina los detalles durante las fases de bajo ruido. Genera vídeos de 5 segundos en resoluciones de 480p o 720p.

Como usar

Clona el repositorio e instala sus dependencias:
git clone https://github.com/Wan-Video/Wan2.2.git
cd Wan2.2
# Requiere torch >= 2.4.0
pip install -r requirements.txt

Descarga el modelo desde Hugging Face:
pip install "huggingface_hub[cli]"
huggingface-cli download Wan-AI/Wan2.2-T2V-A14B --local-dir ./Wan2.2-T2V-A14B

Ejecuta una generación de texto a vídeo en una sola GPU. La configuración indicada requiere al menos 80 GB de VRAM:
python generate.py \
  --task t2v-A14B \
  --size 1280*720 \
  --ckpt_dir ./Wan2.2-T2V-A14B \
  --offload_model True \
  --convert_model_dtype \
  --prompt "Two anthropomorphic cats in comfy boxing gear and bright gloves fight intensely on a spotlighted stage."

Para inferencia en ocho GPU mediante FSDP y DeepSpeed Ulysses:
torchrun --nproc_per_node=8 generate.py \
  --task t2v-A14B \
  --size 1280*720 \
  --ckpt_dir ./Wan2.2-T2V-A14B \
  --dit_fsdp \
  --t5_fsdp \
  --ulysses_size 8 \
  --prompt "Two anthropomorphic cats in comfy boxing gear and bright gloves fight intensely on a spotlighted stage."

También puede activarse la ampliación local de prompts con Qwen:
torchrun --nproc_per_node=8 generate.py \
  --task t2v-A14B \
  --size 1280*720 \
  --ckpt_dir ./Wan2.2-T2V-A14B \
  --dit_fsdp \
  --t5_fsdp \
  --ulysses_size 8 \
  --prompt "Two anthropomorphic cats in comfy boxing gear and bright gloves fight intensely on a spotlighted stage" \
  --use_prompt_extend \
  --prompt_extend_method 'local_qwen' \
  --prompt_extend_target_lang 'zh'

Funcionalidades

Generación de vídeo a partir de descripciones de texto
Arquitectura MoE con dos expertos especializados en distintas fases del proceso de eliminación de ruido
Aproximadamente 27.000 millones de parámetros totales y 14.000 millones activos por paso
Salida de vídeo de 5 segundos en 480p o 720p
Mayor control de iluminación, composición, contraste, color y estética cinematográfica
Mejor representación de movimientos complejos gracias a un conjunto de entrenamiento ampliado
Inferencia distribuida mediante PyTorch FSDP y DeepSpeed Ulysses
Licencia Apache 2.0

Casos de uso

Creación de secuencias cinematográficas breves a partir de descripciones textuales
Previsualización de escenas, movimientos de cámara y composiciones para producción audiovisual
Generación de clips con movimientos complejos de personajes u objetos
Investigación académica sobre difusión de vídeo y arquitecturas de mezcla de expertos
Prototipado de anuncios, animaciones, conceptos visuales y contenido creativo en 480p o 720p