Wan2.2-T2V-A14B

young110

Texto a video

Modelo abierto de generación de texto a vídeo de la familia Wan2.2. Utiliza una arquitectura de mezcla de expertos (MoE) con aproximadamente 27.000 millones de parámetros totales y 14.000 millones activos en cada paso: un experto organiza la escena durante las etapas de alto ruido y otro refina los detalles durante las etapas de bajo ruido. Genera vídeos de 5 segundos en resoluciones de 480p o 720p.

Como usar

Clona el repositorio e instala sus dependencias:
git clone https://github.com/Wan-Video/Wan2.2.git
cd Wan2.2
pip install -r requirements.txt

Descarga los pesos desde Hugging Face:
pip install "huggingface_hub[cli]"
huggingface-cli download Wan-AI/Wan2.2-T2V-A14B --local-dir ./Wan2.2-T2V-A14B

Genera un vídeo de 720p en una sola GPU. Esta configuración requiere al menos 80 GB de VRAM; las opciones de descarga y conversión reducen el consumo de memoria:
python generate.py \
  --task t2v-A14B \
  --size 1280*720 \
  --ckpt_dir ./Wan2.2-T2V-A14B \
  --offload_model True \
  --convert_model_dtype \
  --prompt "Two anthropomorphic cats in comfy boxing gear and bright gloves fight intensely on a spotlighted stage."

Para ejecutar la inferencia distribuida en ocho GPU:
torchrun --nproc_per_node=8 generate.py \
  --task t2v-A14B \
  --size 1280*720 \
  --ckpt_dir ./Wan2.2-T2V-A14B \
  --dit_fsdp \
  --t5_fsdp \
  --ulysses_size 8 \
  --prompt "Two anthropomorphic cats in comfy boxing gear and bright gloves fight intensely on a spotlighted stage."

También puede activarse la extensión local de instrucciones con Qwen:
torchrun --nproc_per_node=8 generate.py \
  --task t2v-A14B \
  --size 1280*720 \
  --ckpt_dir ./Wan2.2-T2V-A14B \
  --dit_fsdp \
  --t5_fsdp \
  --ulysses_size 8 \
  --prompt "Two anthropomorphic cats in comfy boxing gear and bright gloves fight intensely on a spotlighted stage" \
  --use_prompt_extend \
  --prompt_extend_method local_qwen \
  --prompt_extend_target_lang zh

Funcionalidades

Generación de vídeos de 5 segundos a partir de instrucciones de texto.
Compatibilidad con resoluciones de 480p y 720p.
Arquitectura MoE especializada en las distintas etapas del proceso de eliminación de ruido.
Mayor control sobre iluminación, composición, contraste, tono de color y estética cinematográfica.
Mejor representación de movimientos complejos, semántica visual y detalles que Wan2.1.
Inferencia en una sola GPU con descarga del modelo y conversión de tipo de datos.
Inferencia distribuida mediante PyTorch FSDP y DeepSpeed Ulysses.
Extensión opcional de instrucciones mediante DashScope o modelos Qwen locales.
Pesos publicados en formato Safetensors e integración prevista con Diffusers y ComfyUI.
Licencia Apache 2.0.

Casos de uso

Creación de clips cinematográficos a partir de descripciones textuales.
Previsualización de escenas para cine, publicidad y producción audiovisual.
Generación de animaciones con personajes y movimientos complejos.
Prototipado visual de conceptos narrativos y secuencias de acción.
Investigación académica sobre difusión de vídeo y arquitecturas MoE.
Producción de material audiovisual con control sobre composición, iluminación y color.