Wan2.1-T2V-14B

tarek876543
Texto a video

Modelo fundacional de difusión con 14.000 millones de parámetros para generar vídeos a partir de texto. Produce escenas con alta calidad visual, movimiento dinámico y texto integrado en chino o inglés, con salida en resoluciones de 480p y 720p.

Como usar

Instala el repositorio y sus dependencias:

git clone https://github.com/Wan-Video/Wan2.1.git
cd Wan2.1
# Requiere torch >= 2.4.0
pip install -r requirements.txt

Descarga los pesos desde Hugging Face:

pip install "huggingface_hub[cli]"
huggingface-cli download Wan-AI/Wan2.1-T2V-14B --local-dir ./Wan2.1-T2V-14B

Genera un vídeo de 720p con una sola GPU:

python generate.py \
  --task t2v-14B \
  --size 1280*720 \
  --ckpt_dir ./Wan2.1-T2V-14B \
  --prompt "Two anthropomorphic cats in comfy boxing gear and bright gloves fight intensely on a spotlighted stage."

Para inferencia distribuida en ocho GPU:

pip install "xfuser>=0.4.1"
torchrun --nproc_per_node=8 generate.py \
  --task t2v-14B \
  --size 1280*720 \
  --ckpt_dir ./Wan2.1-T2V-14B \
  --dit_fsdp \
  --t5_fsdp \
  --ulysses_size 8 \
  --prompt "Two anthropomorphic cats in comfy boxing gear and bright gloves fight intensely on a spotlighted stage."

También puede activarse la ampliación del prompt mediante DashScope:

DASH_API_KEY=your_key python generate.py \
  --task t2v-14B \
  --size 1280*720 \
  --ckpt_dir ./Wan2.1-T2V-14B \
  --prompt "Two anthropomorphic cats in comfy boxing gear and bright gloves fight intensely on a spotlighted stage" \
  --use_prompt_extend \
  --prompt_extend_method 'dashscope' \
  --prompt_extend_target_lang 'ch'

Funcionalidades

Generación de vídeo a partir de descripciones de texto.
Arquitectura Diffusion Transformer basada en Flow Matching, con codificador de texto T5.
Wan-VAE causal 3D para conservar la coherencia temporal y reducir el consumo de memoria.
Generación de texto visible en chino e inglés dentro de los vídeos.
Compatibilidad con resoluciones de 480p y 720p.
Inferencia distribuida en varias GPU mediante FSDP y xDiT USP.
Extensión opcional de instrucciones con DashScope o modelos Qwen locales.
Pesos en formato Safetensors e integración con Diffusers, Gradio y ComfyUI.
Licencia Apache 2.0.

Casos de uso

Creación de clips cinematográficos a partir de descripciones textuales.
Prototipado visual de escenas, anuncios y conceptos creativos.
Generación de animaciones con movimiento complejo o dinámico.
Producción de vídeos que incluyan texto visible en chino o inglés.
Investigación y evaluación de sistemas abiertos de generación de vídeo.
Desarrollo de flujos locales de generación de vídeo con una o varias GPU.