amanuelcm/Wan2.1-T2V-1.3B-HansCharacter

amanuelcm
Texto a video

Adaptador LoRA para el modelo de texto a vídeo Wan-AI/Wan2.1-T2V-1.3B, entrenado con un subconjunto del conjunto de datos HansCharacter. Permite generar vídeos protagonizados por un personaje llamado Hans mediante la palabra de activación `#hans`. Los pesos se distribuyen en formato Safetensors bajo licencia MIT.

Como usar

Instala las dependencias y carga el adaptador LoRA sobre el modelo base de Wan 2.1:

pip install -U diffusers transformers accelerate
import torch
from diffusers.utils import export_to_video
from diffusers import AutoencoderKLWan, WanPipeline
from diffusers.schedulers.scheduling_unipc_multistep import UniPCMultistepScheduler

model_id = "Wan-AI/Wan2.1-T2V-1.3B-Diffusers"

vae = AutoencoderKLWan.from_pretrained(
    model_id,
    subfolder="vae",
    torch_dtype=torch.float32
)

pipe = WanPipeline.from_pretrained(
    model_id,
    vae=vae,
    torch_dtype=torch.bfloat16
)

pipe.scheduler = UniPCMultistepScheduler.from_config(
    pipe.scheduler.config,
    flow_shift=5.0
)
pipe.to("cuda")
pipe.load_lora_weights("amanuelcm/Wan2.1-T2V-1.3B-HansCharacter")
pipe.enable_model_cpu_offload()

prompt = "#hans, sitting by a rainy window at night, reading an old leather book, warm lamp light glowing softly, raindrops streaking down the glass, deep focus cinematic shot"

negative_prompt = "色调艳丽,过曝,静态,细节模糊不清,字幕,风格,作品,画作,画面,静止,整体发灰,最差质量,低质量,JPEG压缩残留,丑陋的,残缺的,多余的手指,画得不好的手部,画得不好的脸部,畸形的,毁容的,形态畸形的肢体,手指融合,静止不动的画面,杂乱的背景,三条腿,背景人很多,倒着走"

output = pipe(
    prompt=prompt,
    negative_prompt=negative_prompt,
    height=480,
    width=640,
    num_frames=49,
    guidance_scale=5.0,
    num_inference_steps=32
).frames[0]

export_to_video(output, "output.mp4", fps=16)

El prompt debe incluir #hans para activar la representación del personaje. Para ComfyUI puede utilizarse el flujo comfy.json proporcionado por el repositorio junto con los componentes recomendados de Wan 2.1.

Funcionalidades

Generación de vídeo a partir de texto con el personaje Hans
Adaptador LoRA basado en Wan2.1-T2V-1.3B
Activación del personaje mediante la palabra clave `#hans`
Compatible con Diffusers y WanPipeline
Compatible con flujos avanzados de ComfyUI
Admite descarga de pesos en formato Safetensors
Permite descarga de componentes a CPU para equipos con poca VRAM

Casos de uso

Crear escenas cinematográficas cortas protagonizadas por Hans
Mantener la identidad visual del personaje en distintos escenarios
Generar secuencias de fantasía, interiores o paisajes desde descripciones textuales
Prototipar vídeos narrativos con un personaje recurrente
Integrar la generación de Hans en flujos locales de Diffusers o ComfyUI