YOUSIKI/PanoWan
YOUSIKI
Texto a video
Adaptador LoRA basado en Wan2.1-T2V-1.3B para generar y transformar vídeos panorámicos de 360° a partir de texto. Incorpora mecanismos sensibles a la latitud y la longitud para conservar la coherencia espacial en proyecciones panorámicas.
Como usar
Instala las dependencias y carga el adaptador LoRA sobre el modelo base Wan2.1-T2V-1.3B:
pip install -U diffusers transformers accelerate
import torch
from diffusers import DiffusionPipeline
from diffusers.utils import export_to_video
# switch to "mps" for apple devices
pipe = DiffusionPipeline.from_pretrained(
"Wan-AI/Wan2.1-T2V-1.3B",
dtype=torch.bfloat16,
device_map="cuda"
)
pipe.load_lora_weights("YOUSIKI/PanoWan")
prompt = "Stunning panoramic underwater shot of a vibrant coral reef ecosystem brimming with marine life. Colorful fish dart effortlessly among intricate coral formations, soft rays of sunlight filter through the crystal-clear waters, creating mesmerizing patterns on the ocean floor. Wide-angle capturing vivid hues and abundant biodiversity."
output = pipe(prompt=prompt).frames[0]
export_to_video(output, "output.mp4")
Funcionalidades
- Generación de vídeo panorámico de 360° a partir de texto
- Generación de vídeos largos mediante ventanas temporales y fusión continua
- Superresolución de vídeos panorámicos hasta 2×
- Edición semántica guiada por texto
- Expansión de vídeos convencionales a formato panorámico
- Adaptador LoRA compatible con Diffusers
- Licencia Apache 2.0
Casos de uso
- Creación de experiencias audiovisuales inmersivas y contenido para realidad virtual
- Conversión de vídeos convencionales en escenas panorámicas
- Producción de secuencias panorámicas largas y continuas
- Mejora de resolución de vídeo panorámico
- Modificación de escenas de 360° mediante instrucciones de texto