Steamboat Willie LoRA 14B

benjamin-paine
Texto a video

Adaptador LoRA para Wan2.1-T2V-14B que genera vídeos con la estética de Steamboat Willie y la animación de la era dorada. Fue entrenado con clips de la película divididos por escenas y descritos mediante Qwen2.5-VL-3B-Instruct.

Como usar

Instala Diffusers desde GitHub y carga el adaptador LoRA sobre Wan2.1-T2V-14B-Diffusers:

pip install git+https://github.com/huggingface/diffusers.git

import torch
from diffusers.utils import export_to_video
from diffusers import AutoencoderKLWan, WanPipeline
from diffusers.schedulers.scheduling_unipc_multistep import UniPCMultistepScheduler

model_id = "Wan-AI/Wan2.1-T2V-14B-Diffusers"
vae = AutoencoderKLWan.from_pretrained(
    model_id,
    subfolder="vae",
    torch_dtype=torch.float32
)
pipe = WanPipeline.from_pretrained(
    model_id,
    vae=vae,
    torch_dtype=torch.bfloat16
)
pipe.scheduler = UniPCMultistepScheduler.from_config(
    pipe.scheduler.config,
    flow_shift=5.0
)
pipe.to("cuda")
pipe.load_lora_weights("benjamin-paine/steamboat-willie-14b")
pipe.enable_model_cpu_offload()

prompt = "steamboat willie style, golden era animation, an anthropomorphic cat character wearing a hat removes it and performs a courteous bow"
negative_prompt = "色调艳丽,过曝,静态,细节模糊不清,字幕,风格,作品,画作,画面,静止,整体发灰,最差质量,低质量,JPEG压缩残留,丑陋的,残缺的,多余的手指,画得不好的手部,画得不好的脸部,畸形的,毁容的,形态畸形的肢体,手指融合,静止不动的画面,杂乱的背景,三条腿,背景人很多,倒着走"

output = pipe(
    prompt=prompt,
    negative_prompt=negative_prompt,
    height=720,
    width=1280,
    num_frames=81,
    guidance_scale=5.0,
    num_inference_steps=32
).frames[0]

export_to_video(output, "output.mp4", fps=16)

Funcionalidades

Generación de texto a vídeo con estética de animación clásica en blanco y negro.
Compatible con el modelo base Wan-AI/Wan2.1-T2V-14B.
Utiliza la frase de activación «steamboat willie style»; se recomienda combinarla con «golden era animation».
Pesos LoRA disponibles en formato Safetensors.
Admite descarga de parte del modelo a la CPU para equipos con poca VRAM.
Publicado bajo licencia CC0 1.0.

Casos de uso

Crear secuencias de vídeo con apariencia de dibujos animados de la era dorada.
Reinterpretar personajes y escenas modernas con el estilo visual de Steamboat Willie.
Producir animaciones cortas de personajes antropomórficos con estética cinematográfica clásica.
Experimentar con generación estilizada de vídeo mediante adaptadores LoRA para Wan2.1.