Abhikie18/Wan2.1-T2V-14B

Abhikie18
Texto a video

Wan2.1-T2V-14B es un modelo abierto de generación de video a partir de texto de 14 mil millones de parámetros, duplicado de Wan-AI/Wan2.1-T2V-14B. Está orientado a producir videos de alta calidad con movimiento dinámico significativo, admite resoluciones 480P y 720P, y destaca por su capacidad de generar texto visual tanto en chino como en inglés dentro de los videos.

Como usar

Instalación y uso básico con Diffusers:

pip install -U diffusers transformers accelerate

import torch
from diffusers import DiffusionPipeline

# switch to "mps" for apple devices
pipe = DiffusionPipeline.from_pretrained(
    "Abhikie18/Wan2.1-T2V-14B",
    dtype=torch.bfloat16,
    device_map="cuda"
)

prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
image = pipe(prompt).images[0]

Descarga del checkpoint original con Hugging Face CLI:

pip install "huggingface_hub[cli]"
huggingface-cli download Wan-AI/Wan2.1-T2V-14B --local-dir ./Wan2.1-T2V-14B

Inferencia local texto-a-video en 720P:

python generate.py --task t2v-14B --size 1280*720 --ckpt_dir ./Wan2.1-T2V-14B --prompt "Two anthropomorphic cats in comfy boxing gear and bright gloves fight intensely on a spotlighted stage."

Inferencia multi-GPU con FSDP y xDiT USP:

pip install "xfuser>=0.4.1"
torchrun --nproc_per_node=8 generate.py --task t2v-14B --size 1280*720 --ckpt_dir ./Wan2.1-T2V-14B --dit_fsdp --t5_fsdp --ulysses_size 8 --prompt "Two anthropomorphic cats in comfy boxing gear and bright gloves fight intensely on a spotlighted stage."

Uso con extensión de prompt mediante Dashscope:

DASH_API_KEY=your_key python generate.py --task t2v-14B --size 1280*720 --ckpt_dir ./Wan2.1-T2V-14B --prompt "Two anthropomorphic cats in comfy boxing gear and bright gloves fight intensely on a spotlighted stage" --use_prompt_extend --prompt_extend_method 'dashscope' --prompt_extend_target_lang 'ch'

Uso con extensión de prompt mediante un modelo Qwen local:

python generate.py --task t2v-14B --size 1280*720 --ckpt_dir ./Wan2.1-T2V-14B --prompt "Two anthropomorphic cats in comfy boxing gear and bright gloves fight intensely on a spotlighted stage" --use_prompt_extend --prompt_extend_method 'local_qwen' --prompt_extend_target_lang 'ch'

Demo local con Gradio:

cd gradio
DASH_API_KEY=your_key python t2v_14B_singleGPU.py --prompt_extend_method 'dashscope' --ckpt_dir ./Wan2.1-T2V-14B

cd gradio
python t2v_14B_singleGPU.py --prompt_extend_method 'local_qwen' --ckpt_dir ./Wan2.1-T2V-14B

Funcionalidades

Generación texto-a-video con arquitectura de difusión basada en Diffusion Transformer y Flow Matching.
Modelo T2V de 14B parámetros con soporte para salida en 480P y 720P.
Capacidad de producir escenas con alta calidad visual y movimiento amplio o complejo.
Soporte multilingüe para prompts en inglés y chino mediante codificación de texto tipo T5.
Generación de texto visual en chino e inglés dentro del contenido de video.
Uso de Wan-VAE, un VAE causal 3D diseñado para comprimir y reconstruir video conservando información temporal.
Compatible con Diffusers, inferencia local, inferencia multi-GPU con FSDP/xDiT USP y demos Gradio.
Licencia Apache 2.0.

Casos de uso

Crear videos cortos a partir de descripciones textuales detalladas.
Generar clips en 480P o 720P para prototipos creativos, investigación o pruebas de workflows de video generativo.
Producir escenas con movimiento notable, personajes, acción o composición cinematográfica desde prompts.
Evaluar modelos abiertos de texto-a-video frente a alternativas comerciales o cerradas.
Experimentar con generación de texto visible en videos en chino o inglés.
Construir demos locales de generación de video con Gradio, Diffusers o pipelines personalizados.