sharonSD/Wan2.1-T2V-14B

sharonSD
Texto a video

Modelo de difusión de 14.000 millones de parámetros para generar vídeos de alta calidad a partir de texto. Admite resoluciones de 480p y 720p, destaca por sus movimientos dinámicos y puede representar texto tanto en chino como en inglés. Es un duplicado de Wan-AI/Wan2.1-T2V-14B y se distribuye bajo la licencia Apache 2.0.

Como usar

Instalación y uso básico con Diffusers:

pip install -U diffusers transformers accelerate
import torch
from diffusers import DiffusionPipeline

# Cambia a "mps" para dispositivos Apple
pipe = DiffusionPipeline.from_pretrained(
    "sharonSD/Wan2.1-T2V-14B",
    dtype=torch.bfloat16,
    device_map="cuda"
)
prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
image = pipe(prompt).images[0]

Para utilizar el código oficial, descarga el repositorio y sus dependencias:

git clone https://github.com/Wan-Video/Wan2.1.git
cd Wan2.1
# Requiere torch >= 2.4.0
pip install -r requirements.txt

Descarga los pesos:

pip install "huggingface_hub[cli]"
huggingface-cli download Wan-AI/Wan2.1-T2V-14B --local-dir ./Wan2.1-T2V-14B

Genera un vídeo de 720p en una GPU:

python generate.py \
  --task t2v-14B \
  --size 1280*720 \
  --ckpt_dir ./Wan2.1-T2V-14B \
  --prompt "Two anthropomorphic cats in comfy boxing gear and bright gloves fight intensely on a spotlighted stage."

Si falta memoria, pueden emplearse --offload_model True y --t5_cpu. También admite inferencia multi-GPU mediante FSDP y xDiT USP, así como extensión de prompts con DashScope o modelos Qwen locales.

Funcionalidades

Generación de vídeo a partir de descripciones de texto
Compatibilidad con resoluciones de 480p y 720p
Generación visual de texto en chino e inglés
Arquitectura Diffusion Transformer basada en Flow Matching
Wan-VAE causal 3D para conservar la coherencia temporal
Extensión opcional de prompts mediante DashScope o modelos Qwen locales
Inferencia en una GPU o distribuida con FSDP y xDiT USP
Integración con Diffusers, Gradio y ComfyUI

Casos de uso

Creación de clips cinematográficos a partir de descripciones
Producción de vídeos con movimiento complejo y dinámico
Generación de contenido audiovisual en 480p o 720p
Creación de escenas que incluyan texto visual en chino o inglés
Prototipado de anuncios, conceptos creativos y previsualizaciones
Investigación sobre generación de vídeo mediante modelos de difusión