Wan2.1-T2V-14B

plluha

Texto a video

Modelo de difusión de 14.000 millones de parámetros para generar vídeos a partir de descripciones de texto. Produce escenas de alta calidad con movimiento dinámico, admite resoluciones de 480p y 720p y puede representar texto visual tanto en chino como en inglés.

Como usar

Instalación y uso básico con Diffusers:
pip install -U diffusers transformers accelerate

import torch
from diffusers import DiffusionPipeline

# Cambia a "mps" para dispositivos Apple
pipe = DiffusionPipeline.from_pretrained(
    "plluha/Wan2.1-T2V-14B",
    dtype=torch.bfloat16,
    device_map="cuda"
)

prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
image = pipe(prompt).images[0]

Para utilizar la implementación oficial, descarga el repositorio y sus dependencias:
git clone https://github.com/Wan-Video/Wan2.1.git
cd Wan2.1
pip install -r requirements.txt
huggingface-cli download Wan-AI/Wan2.1-T2V-14B --local-dir ./Wan2.1-T2V-14B

Generación de vídeo 720p en una GPU:
python generate.py \
  --task t2v-14B \
  --size 1280*720 \
  --ckpt_dir ./Wan2.1-T2V-14B \
  --prompt "Two anthropomorphic cats in comfy boxing gear and bright gloves fight intensely on a spotlighted stage."

Si falta memoria de GPU, se puede añadir --offload_model True. También es posible habilitar la extensión de prompts con DashScope o un modelo Qwen local.

Funcionalidades

Generación de texto a vídeo mediante una arquitectura Diffusion Transformer con Flow Matching.
14.000 millones de parámetros, 40 capas y 40 cabezas de atención.
Generación de vídeo en resoluciones de 480p y 720p.
Representación de texto visual en chino e inglés dentro de los vídeos.
Wan-VAE causal 3D para preservar la coherencia temporal y reducir el uso de memoria.
Codificación multilingüe de prompts mediante un codificador T5.
Inferencia en una sola GPU o distribuida con FSDP y xDiT USP.
Extensión opcional de prompts mediante DashScope o modelos Qwen locales.
Integración con Diffusers, ComfyUI y Gradio.
Licencia Apache 2.0.

Casos de uso

Crear vídeos cinematográficos a partir de descripciones textuales.
Generar escenas animadas con movimientos amplios y dinámicos.
Producir prototipos visuales, storyboards y conceptos para producción audiovisual.
Crear contenido de vídeo con texto visible en chino o inglés.
Generar clips en 480p o 720p para investigación y experimentación.
Evaluar técnicas de difusión de vídeo, cuantización, LoRA y optimización de VRAM.