sharonSD/Wan2.1-T2V-14B
sharonSD
Texto a video
Modelo de difusión de 14.000 millones de parámetros para generar vídeos de alta calidad a partir de texto. Admite resoluciones de 480p y 720p, destaca por sus movimientos dinámicos y puede representar texto tanto en chino como en inglés. Es un duplicado de Wan-AI/Wan2.1-T2V-14B y se distribuye bajo la licencia Apache 2.0.
Como usar
Instalación y uso básico con Diffusers:
pip install -U diffusers transformers accelerate
import torch
from diffusers import DiffusionPipeline
# Cambia a "mps" para dispositivos Apple
pipe = DiffusionPipeline.from_pretrained(
"sharonSD/Wan2.1-T2V-14B",
dtype=torch.bfloat16,
device_map="cuda"
)
prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
image = pipe(prompt).images[0]
Para utilizar el código oficial, descarga el repositorio y sus dependencias:
git clone https://github.com/Wan-Video/Wan2.1.git
cd Wan2.1
# Requiere torch >= 2.4.0
pip install -r requirements.txt
Descarga los pesos:
pip install "huggingface_hub[cli]"
huggingface-cli download Wan-AI/Wan2.1-T2V-14B --local-dir ./Wan2.1-T2V-14B
Genera un vídeo de 720p en una GPU:
python generate.py \
--task t2v-14B \
--size 1280*720 \
--ckpt_dir ./Wan2.1-T2V-14B \
--prompt "Two anthropomorphic cats in comfy boxing gear and bright gloves fight intensely on a spotlighted stage."
Si falta memoria, pueden emplearse --offload_model True y --t5_cpu. También admite inferencia multi-GPU mediante FSDP y xDiT USP, así como extensión de prompts con DashScope o modelos Qwen locales.
Funcionalidades
- Generación de vídeo a partir de descripciones de texto
- Compatibilidad con resoluciones de 480p y 720p
- Generación visual de texto en chino e inglés
- Arquitectura Diffusion Transformer basada en Flow Matching
- Wan-VAE causal 3D para conservar la coherencia temporal
- Extensión opcional de prompts mediante DashScope o modelos Qwen locales
- Inferencia en una GPU o distribuida con FSDP y xDiT USP
- Integración con Diffusers, Gradio y ComfyUI
Casos de uso
- Creación de clips cinematográficos a partir de descripciones
- Producción de vídeos con movimiento complejo y dinámico
- Generación de contenido audiovisual en 480p o 720p
- Creación de escenas que incluyan texto visual en chino o inglés
- Prototipado de anuncios, conceptos creativos y previsualizaciones
- Investigación sobre generación de vídeo mediante modelos de difusión