YOUSIKI/PanoWan

YOUSIKI
Texto a video

Adaptador LoRA basado en Wan2.1-T2V-1.3B para generar y transformar vídeos panorámicos de 360° a partir de texto. Incorpora mecanismos sensibles a la latitud y la longitud para conservar la coherencia espacial en proyecciones panorámicas.

Como usar

Instala las dependencias y carga el adaptador LoRA sobre el modelo base Wan2.1-T2V-1.3B:

pip install -U diffusers transformers accelerate

import torch
from diffusers import DiffusionPipeline
from diffusers.utils import export_to_video

# switch to "mps" for apple devices
pipe = DiffusionPipeline.from_pretrained(
    "Wan-AI/Wan2.1-T2V-1.3B",
    dtype=torch.bfloat16,
    device_map="cuda"
)
pipe.load_lora_weights("YOUSIKI/PanoWan")

prompt = "Stunning panoramic underwater shot of a vibrant coral reef ecosystem brimming with marine life. Colorful fish dart effortlessly among intricate coral formations, soft rays of sunlight filter through the crystal-clear waters, creating mesmerizing patterns on the ocean floor. Wide-angle capturing vivid hues and abundant biodiversity."

output = pipe(prompt=prompt).frames[0]
export_to_video(output, "output.mp4")

Funcionalidades

Generación de vídeo panorámico de 360° a partir de texto
Generación de vídeos largos mediante ventanas temporales y fusión continua
Superresolución de vídeos panorámicos hasta 2×
Edición semántica guiada por texto
Expansión de vídeos convencionales a formato panorámico
Adaptador LoRA compatible con Diffusers
Licencia Apache 2.0

Casos de uso

Creación de experiencias audiovisuales inmersivas y contenido para realidad virtual
Conversión de vídeos convencionales en escenas panorámicas
Producción de secuencias panorámicas largas y continuas
Mejora de resolución de vídeo panorámico
Modificación de escenas de 360° mediante instrucciones de texto