Origami_WanLora

shauray
Texto a video

Adaptador LoRA para WanVideo 2.1 que genera vídeos con estética de figuras de origami a partir de instrucciones de texto. Se basa en Wan-AI/Wan2.1-T2V-14B y utiliza la palabra activadora «origami». El autor advierte de un pequeño defecto visual frecuente en la parte inferior de las generaciones debido a elementos presentes en el conjunto de entrenamiento.

Como usar

Instala las dependencias y carga el LoRA sobre el modelo base Wan 2.1. Incluye «origami» en la instrucción para activar el estilo.

pip install -U diffusers transformers accelerate

import torch
from diffusers import DiffusionPipeline
from diffusers.utils import export_to_video

# switch to "mps" for apple devices
pipe = DiffusionPipeline.from_pretrained(
    "Wan-AI/Wan2.1-T2V-14B",
    dtype=torch.bfloat16,
    device_map="cuda"
)
pipe.load_lora_weights("shauray/Origami_WanLora")

prompt = "[origami] a crafted grasshopper moving on the jungle floor, dead leaves all around, huge trees in the background."
output = pipe(prompt=prompt).frames[0]
export_to_video(output, "output.mp4")

También puede utilizarse con la implementación específica de WanPipeline:

pip install git+https://github.com/huggingface/diffusers.git

import torch
from diffusers.utils import export_to_video
from diffusers import AutoencoderKLWan, WanPipeline
from diffusers.schedulers.scheduling_unipc_multistep import UniPCMultistepScheduler

# Available models: Wan-AI/Wan2.1-T2V-14B-Diffusers, Wan-AI/Wan2.1-T2V-1.3B-Diffusers
model_id = "Wan-AI/Wan2.1-T2V-14B-Diffusers"
vae = AutoencoderKLWan.from_pretrained(
    model_id,
    subfolder="vae",
    torch_dtype=torch.float32
)
pipe = WanPipeline.from_pretrained(
    model_id,
    vae=vae,
    torch_dtype=torch.bfloat16
)

flow_shift = 5.0 # 5.0 for 720P, 3.0 for 480P
pipe.scheduler = UniPCMultistepScheduler.from_config(
    pipe.scheduler.config,
    flow_shift=flow_shift
)
pipe.to("cuda")
pipe.load_lora_weights("shauray/Origami_WanLora")
pipe.enable_model_cpu_offload() #for low-vram environments

prompt = "origami style bull charging towards a man"
output = pipe(
    prompt=prompt,
    height=480,
    width=720,
    num_frames=81,
    guidance_scale=5.0,
).frames[0]

export_to_video(output, "output.mp4", fps=16)

Funcionalidades

Generación de texto a vídeo con estilo visual de origami
Compatible con Wan-AI/Wan2.1-T2V-14B y su versión Diffusers
Integración mediante la biblioteca Diffusers
Pesos disponibles en formato Safetensors
Licencia Apache 2.0
Permite descarga de carga a CPU para equipos con poca VRAM
Admite generación a 480p o 720p ajustando el desplazamiento del planificador

Casos de uso

Crear animaciones de animales representados como figuras de papel plegado
Generar escenas naturales o selváticas con personajes de origami en movimiento
Producir secuencias estilizadas para proyectos artísticos y audiovisuales
Experimentar con vídeos de estética artesanal basados en WanVideo 2.1