htdong/Wan-Alpha-v2.0

Instalación y uso básico con Diffusers:

pip install -U diffusers transformers accelerate

import torch
from diffusers import DiffusionPipeline

# switch to "mps" for apple devices
pipe = DiffusionPipeline.from_pretrained("htdong/Wan-Alpha-v2.0", dtype=torch.bfloat16, device_map="cuda")

prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
image = pipe(prompt).images[0]

Configuración del repositorio oficial:

# Clone the project repository
git clone https://github.com/WeChatCV/Wan-Alpha.git
cd Wan-Alpha

# Create and activate Conda environment
conda create -n Wan-Alpha python=3.11 -y
conda activate Wan-Alpha

# Install dependencies
pip install -r requirements.txt

Inferencia local indicada por la tarjeta del modelo:

torchrun --nproc_per_node=8 --master_port=29501 generate_dora_lightx2v_mask.py --size 832*480\
 --ckpt_dir "path/to/your/Wan-2.1/Wan2.1-T2V-14B" \
 --dit_fsdp --t5_fsdp --ulysses_size 8 \
 --vae_lora_checkpoint "path/to/your/decoder.bin" \
 --lora_path "path/to/your/t2v.safetensors" \
 --lightx2v_path "path/to/your/lightx2v_T2V_14B_cfg_step_distill_v2_lora_rank64_bf16.safetensors" \
 --sample_guide_scale 1.0 \
 --frame_num 81 \
 --sample_steps 4 \
 --lora_ratio 1.0 \
 --lora_prefix "" \
 --alpha_shift_mean 0.05 \
 --cache_path_mask "path/to/your/gauss_mask" \
 --prompt_file ./data/prompt.txt \
 --output_dir ./output

Parámetros clave: --ckpt_dir apunta a Wan2.1-T2V-14B, --lightx2v_path a LightX2V-T2V-14B, --vae_lora_checkpoint a Wan-Alpha-VAE y --lora_path a Wan-Alpha-T2V. Los videos RGBA renderizados con fondo de tablero y los frames PNG se generan en --output_dir.

Consejo de prompt: especificar que el fondo del video es transparente, el estilo visual, el tipo de plano y el sujeto principal.

This video has a transparent background. Close-up shot. A colorful parrot flying. Realistic style.