amanuelcm/Wan2.1-T2V-1.3B-HansCharacter
amanuelcm
Texto a video
Adaptador LoRA para el modelo de texto a vídeo Wan-AI/Wan2.1-T2V-1.3B, entrenado con un subconjunto del conjunto de datos HansCharacter. Permite generar vídeos protagonizados por un personaje llamado Hans mediante la palabra de activación `#hans`. Los pesos se distribuyen en formato Safetensors bajo licencia MIT.
Como usar
Instala las dependencias y carga el adaptador LoRA sobre el modelo base de Wan 2.1:
pip install -U diffusers transformers accelerate
import torch
from diffusers.utils import export_to_video
from diffusers import AutoencoderKLWan, WanPipeline
from diffusers.schedulers.scheduling_unipc_multistep import UniPCMultistepScheduler
model_id = "Wan-AI/Wan2.1-T2V-1.3B-Diffusers"
vae = AutoencoderKLWan.from_pretrained(
model_id,
subfolder="vae",
torch_dtype=torch.float32
)
pipe = WanPipeline.from_pretrained(
model_id,
vae=vae,
torch_dtype=torch.bfloat16
)
pipe.scheduler = UniPCMultistepScheduler.from_config(
pipe.scheduler.config,
flow_shift=5.0
)
pipe.to("cuda")
pipe.load_lora_weights("amanuelcm/Wan2.1-T2V-1.3B-HansCharacter")
pipe.enable_model_cpu_offload()
prompt = "#hans, sitting by a rainy window at night, reading an old leather book, warm lamp light glowing softly, raindrops streaking down the glass, deep focus cinematic shot"
negative_prompt = "色调艳丽,过曝,静态,细节模糊不清,字幕,风格,作品,画作,画面,静止,整体发灰,最差质量,低质量,JPEG压缩残留,丑陋的,残缺的,多余的手指,画得不好的手部,画得不好的脸部,畸形的,毁容的,形态畸形的肢体,手指融合,静止不动的画面,杂乱的背景,三条腿,背景人很多,倒着走"
output = pipe(
prompt=prompt,
negative_prompt=negative_prompt,
height=480,
width=640,
num_frames=49,
guidance_scale=5.0,
num_inference_steps=32
).frames[0]
export_to_video(output, "output.mp4", fps=16)
El prompt debe incluir #hans para activar la representación del personaje. Para ComfyUI puede utilizarse el flujo comfy.json proporcionado por el repositorio junto con los componentes recomendados de Wan 2.1.
Funcionalidades
- Generación de vídeo a partir de texto con el personaje Hans
- Adaptador LoRA basado en Wan2.1-T2V-1.3B
- Activación del personaje mediante la palabra clave `#hans`
- Compatible con Diffusers y WanPipeline
- Compatible con flujos avanzados de ComfyUI
- Admite descarga de pesos en formato Safetensors
- Permite descarga de componentes a CPU para equipos con poca VRAM
Casos de uso
- Crear escenas cinematográficas cortas protagonizadas por Hans
- Mantener la identidad visual del personaje en distintos escenarios
- Generar secuencias de fantasía, interiores o paisajes desde descripciones textuales
- Prototipar vídeos narrativos con un personaje recurrente
- Integrar la generación de Hans en flujos locales de Diffusers o ComfyUI