AlekseyCalvin/Jodorowsky_Wan_14b_LoRA_BySilverAgePoets
AlekseyCalvin
Texto a video
LoRA de rango 16 especializado artísticamente para generación de texto a video con modelos Wan2.* de 14B, entrenado sobre clips de películas clásicas de Alejandro Jodorowsky para inducir una estética de cine surrealista, psicodélico, ocultista y analógico de los años 70.
Como usar
Instalación y ejemplo con Diffusers:
pip install -U diffusers transformers accelerate
import torch
from diffusers import DiffusionPipeline
from diffusers.utils import export_to_video
# switch to "mps" for apple devices
pipe = DiffusionPipeline.from_pretrained("Wan-AI/Wan2.1-T2V-14B", dtype=torch.bfloat16, device_map="cuda")
pipe.load_lora_weights("AlekseyCalvin/Jodorowsky_Wan_14b_LoRA_BySilverAgePoets")
prompt = "Wan2.1 LoRA:Run3@2950"
output = pipe(prompt=prompt).frames[0]
export_to_video(output, "output.mp4")
Para reforzar el adaptador, el autor sugiere anteponer o añadir frases como: [Jodorowsky] psychedelic montage 1970s film by Alejandro Jodorowsky. También recomienda encantamientos de prompt como surrealist occult cinema, eclectically collaged scene, dynamic motion, kodachrome, classic countercultural movie y experimental arthouse analog footage.
Funcionalidades
- Adaptador LoRA para modelos base Wan2.1, Wan2.2 y derivados de 14 mil millones de parámetros.
- Especializado en estética cinematográfica de Alejandro Jodorowsky: montaje psicodélico, surrealismo ocultista, collage visual y metraje analógico experimental.
- Entrenado en varias corridas hasta el paso 3450, con cambios progresivos de clips, resolución, hiperparámetros y redes conv/conv_alpha a rango 16.
- Compatible con Wan2.1 y Wan2.2; las pruebas del autor indican mejor rendimiento con planificadores Euler.
- Los checkpoints funcionan con LoRAs de inferencia acelerada como Wan2.1 Self-Forcing T2V, FastWan y CauseVid; los de Run 3 también funcionan con Wan2.2 T2V Lightning/4-step Adapter para Low Noise Expert.
Casos de uso
- Generar videos de texto a video con estética de cine surrealista inspirado en Alejandro Jodorowsky.
- Crear secuencias visuales psicodélicas, ocultistas, contraculturales o de cine arte experimental.
- Añadir textura analógica, color tipo Kodachrome y composición de montaje ecléctico a salidas de Wan2.1 o Wan2.2.
- Probar checkpoints LoRA de distintas etapas de entrenamiento para equilibrar fidelidad estilística, realismo y detalle cromático.