Origami_WanLora
shauray
Texto a video
Adaptador LoRA para WanVideo 2.1 que genera vídeos con estética de figuras de origami a partir de instrucciones de texto. Se basa en Wan-AI/Wan2.1-T2V-14B y utiliza la palabra activadora «origami». El autor advierte de un pequeño defecto visual frecuente en la parte inferior de las generaciones debido a elementos presentes en el conjunto de entrenamiento.
Como usar
Instala las dependencias y carga el LoRA sobre el modelo base Wan 2.1. Incluye «origami» en la instrucción para activar el estilo.
pip install -U diffusers transformers accelerate
import torch
from diffusers import DiffusionPipeline
from diffusers.utils import export_to_video
# switch to "mps" for apple devices
pipe = DiffusionPipeline.from_pretrained(
"Wan-AI/Wan2.1-T2V-14B",
dtype=torch.bfloat16,
device_map="cuda"
)
pipe.load_lora_weights("shauray/Origami_WanLora")
prompt = "[origami] a crafted grasshopper moving on the jungle floor, dead leaves all around, huge trees in the background."
output = pipe(prompt=prompt).frames[0]
export_to_video(output, "output.mp4")
También puede utilizarse con la implementación específica de WanPipeline:
pip install git+https://github.com/huggingface/diffusers.git
import torch
from diffusers.utils import export_to_video
from diffusers import AutoencoderKLWan, WanPipeline
from diffusers.schedulers.scheduling_unipc_multistep import UniPCMultistepScheduler
# Available models: Wan-AI/Wan2.1-T2V-14B-Diffusers, Wan-AI/Wan2.1-T2V-1.3B-Diffusers
model_id = "Wan-AI/Wan2.1-T2V-14B-Diffusers"
vae = AutoencoderKLWan.from_pretrained(
model_id,
subfolder="vae",
torch_dtype=torch.float32
)
pipe = WanPipeline.from_pretrained(
model_id,
vae=vae,
torch_dtype=torch.bfloat16
)
flow_shift = 5.0 # 5.0 for 720P, 3.0 for 480P
pipe.scheduler = UniPCMultistepScheduler.from_config(
pipe.scheduler.config,
flow_shift=flow_shift
)
pipe.to("cuda")
pipe.load_lora_weights("shauray/Origami_WanLora")
pipe.enable_model_cpu_offload() #for low-vram environments
prompt = "origami style bull charging towards a man"
output = pipe(
prompt=prompt,
height=480,
width=720,
num_frames=81,
guidance_scale=5.0,
).frames[0]
export_to_video(output, "output.mp4", fps=16)
Funcionalidades
- Generación de texto a vídeo con estilo visual de origami
- Compatible con Wan-AI/Wan2.1-T2V-14B y su versión Diffusers
- Integración mediante la biblioteca Diffusers
- Pesos disponibles en formato Safetensors
- Licencia Apache 2.0
- Permite descarga de carga a CPU para equipos con poca VRAM
- Admite generación a 480p o 720p ajustando el desplazamiento del planificador
Casos de uso
- Crear animaciones de animales representados como figuras de papel plegado
- Generar escenas naturales o selváticas con personajes de origami en movimiento
- Producir secuencias estilizadas para proyectos artísticos y audiovisuales
- Experimentar con vídeos de estética artesanal basados en WanVideo 2.1