Wan2.1-T2V-14B
Modelo abierto de generación de vídeo a partir de texto con 14.000 millones de parámetros, basado en Diffusion Transformer y Flow Matching. Genera vídeos con movimiento dinámico y elementos visuales de alta calidad en resoluciones de 480p y 720p. Puede representar texto tanto en chino como en inglés y utiliza Wan-VAE para preservar la coherencia temporal. Esta versión de Getara es un duplicado del modelo original Wan-AI/Wan2.1-T2V-14B.
Como usar
Instalación y uso con Diffusers:
pip install -U diffusers transformers accelerate
import torch
from diffusers import DiffusionPipeline
# Cambiar a "mps" en dispositivos Apple
pipe = DiffusionPipeline.from_pretrained(
"Getara/Wan2.1-T2V-14B",
dtype=torch.bfloat16,
device_map="cuda"
)
prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
image = pipe(prompt).images[0]
Uso mediante el repositorio oficial:
git clone https://github.com/Wan-Video/Wan2.1.git
cd Wan2.1
pip install -r requirements.txt
Descarga del modelo:
pip install "huggingface_hub[cli]"
huggingface-cli download Wan-AI/Wan2.1-T2V-14B --local-dir ./Wan2.1-T2V-14B
Inferencia en una GPU a 720p:
python generate.py \
--task t2v-14B \
--size 1280*720 \
--ckpt_dir ./Wan2.1-T2V-14B \
--prompt "Two anthropomorphic cats in comfy boxing gear and bright gloves fight intensely on a spotlighted stage."
Inferencia distribuida en ocho GPU:
pip install "xfuser>=0.4.1"
torchrun --nproc_per_node=8 generate.py \
--task t2v-14B \
--size 1280*720 \
--ckpt_dir ./Wan2.1-T2V-14B \
--dit_fsdp \
--t5_fsdp \
--ulysses_size 8 \
--prompt "Two anthropomorphic cats in comfy boxing gear and bright gloves fight intensely on a spotlighted stage."
Para reducir el uso de memoria en una sola GPU pueden utilizarse --offload_model True y --t5_cpu. La extensión de prompts puede habilitarse con --use_prompt_extend, usando DashScope o un modelo Qwen local.
Funcionalidades
- Generación de vídeo a partir de descripciones textuales
- Compatibilidad con resoluciones de 480p y 720p
- 14.000 millones de parámetros, 40 capas y 40 cabezas de atención
- Generación de texto visual en chino e inglés
- Arquitectura Diffusion Transformer basada en Flow Matching
- Codificación multilingüe de prompts mediante un encoder T5
- Wan-VAE 3D causal para compresión espaciotemporal y coherencia temporal
- Inferencia en una o varias GPU mediante FSDP y xDiT USP
- Extensión opcional de prompts mediante DashScope o modelos Qwen locales
- Integración con Diffusers, Gradio y herramientas de la comunidad
- Pesos en formato Safetensors
- Licencia Apache 2.0
Casos de uso
- Crear clips de vídeo a partir de descripciones narrativas o cinematográficas
- Generar animaciones con movimientos amplios o escenas de acción
- Producir prototipos visuales, storyboards y conceptos audiovisuales
- Crear contenido de vídeo en 480p o 720p para proyectos creativos
- Generar escenas que incluyan texto visual en chino o inglés
- Investigar y evaluar técnicas abiertas de generación de vídeo por difusión
- Desarrollar interfaces locales de generación de vídeo con Gradio o Diffusers