Wan2.1-T2V-14B

Getara
Texto a video

Modelo abierto de generación de vídeo a partir de texto con 14.000 millones de parámetros, basado en Diffusion Transformer y Flow Matching. Genera vídeos con movimiento dinámico y elementos visuales de alta calidad en resoluciones de 480p y 720p. Puede representar texto tanto en chino como en inglés y utiliza Wan-VAE para preservar la coherencia temporal. Esta versión de Getara es un duplicado del modelo original Wan-AI/Wan2.1-T2V-14B.

Como usar

Instalación y uso con Diffusers:

pip install -U diffusers transformers accelerate
import torch
from diffusers import DiffusionPipeline

# Cambiar a "mps" en dispositivos Apple
pipe = DiffusionPipeline.from_pretrained(
    "Getara/Wan2.1-T2V-14B",
    dtype=torch.bfloat16,
    device_map="cuda"
)

prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
image = pipe(prompt).images[0]

Uso mediante el repositorio oficial:

git clone https://github.com/Wan-Video/Wan2.1.git
cd Wan2.1
pip install -r requirements.txt

Descarga del modelo:

pip install "huggingface_hub[cli]"
huggingface-cli download Wan-AI/Wan2.1-T2V-14B --local-dir ./Wan2.1-T2V-14B

Inferencia en una GPU a 720p:

python generate.py \
  --task t2v-14B \
  --size 1280*720 \
  --ckpt_dir ./Wan2.1-T2V-14B \
  --prompt "Two anthropomorphic cats in comfy boxing gear and bright gloves fight intensely on a spotlighted stage."

Inferencia distribuida en ocho GPU:

pip install "xfuser>=0.4.1"
torchrun --nproc_per_node=8 generate.py \
  --task t2v-14B \
  --size 1280*720 \
  --ckpt_dir ./Wan2.1-T2V-14B \
  --dit_fsdp \
  --t5_fsdp \
  --ulysses_size 8 \
  --prompt "Two anthropomorphic cats in comfy boxing gear and bright gloves fight intensely on a spotlighted stage."

Para reducir el uso de memoria en una sola GPU pueden utilizarse --offload_model True y --t5_cpu. La extensión de prompts puede habilitarse con --use_prompt_extend, usando DashScope o un modelo Qwen local.

Funcionalidades

Generación de vídeo a partir de descripciones textuales
Compatibilidad con resoluciones de 480p y 720p
14.000 millones de parámetros, 40 capas y 40 cabezas de atención
Generación de texto visual en chino e inglés
Arquitectura Diffusion Transformer basada en Flow Matching
Codificación multilingüe de prompts mediante un encoder T5
Wan-VAE 3D causal para compresión espaciotemporal y coherencia temporal
Inferencia en una o varias GPU mediante FSDP y xDiT USP
Extensión opcional de prompts mediante DashScope o modelos Qwen locales
Integración con Diffusers, Gradio y herramientas de la comunidad
Pesos en formato Safetensors
Licencia Apache 2.0

Casos de uso

Crear clips de vídeo a partir de descripciones narrativas o cinematográficas
Generar animaciones con movimientos amplios o escenas de acción
Producir prototipos visuales, storyboards y conceptos audiovisuales
Crear contenido de vídeo en 480p o 720p para proyectos creativos
Generar escenas que incluyan texto visual en chino o inglés
Investigar y evaluar técnicas abiertas de generación de vídeo por difusión
Desarrollar interfaces locales de generación de vídeo con Gradio o Diffusers