Warvito/animatediff-motion-adapter-v1-5-3

Warvito

Texto a video

AnimateDiff es un método que permite crear videos utilizando modelos de Stable Diffusion de Texto a Imagen preexistentes. Convertido a formato Diffusers de Huggingface usando el script de conversión de Diffuser.

Como usar

El siguiente ejemplo demuestra cómo puede utilizar los módulos de movimiento con un modelo de texto a imagen de Stable Diffusion existente.
import torch
from diffusers import MotionAdapter, AnimateDiffPipeline, DDIMScheduler
from diffusers.utils import export_to_gif

# Cargar el adaptador de movimiento
adapter = MotionAdapter.from_pretrained("Warvito/animatediff-motion-adapter-v1-5-3")
# cargar el modelo finetuned basado en SD 1.5
model_id = "SG161222/Realistic_Vision_V5.1_noVAE"
pipe = AnimateDiffPipeline.from_pretrained(model_id, motion_adapter=adapter)
scheduler = DDIMScheduler.from_pretrained(
model_id,
subfolder="scheduler",
beta_schedule="linear",
clip_sample=False,
timestep_spacing="linspace",
steps_offset=1
)

pipe.scheduler = scheduler

# habilitar ahorro de memoria
pipe.enable_vae_slicing()
pipe.enable_model_cpu_offload()

output = pipe(
prompt=(
"maestra, mejor calidad, muy detallado, ultra detallado, atardecer, "
"cielo naranja, iluminación cálida, barcos de pesca, olas del océano gaviotas, "
"agua ondulante, muelle, silueta, atmósfera serena, crepúsculo, resplandor nocturno, "
"hora dorada, paisaje costero, paisaje marino"),
negative_prompt="mala calidad, peor calidad",
num_frames=16,
guidance_scale=7.5,
num_inference_steps=25,
generator=torch.Generator("cpu").manual_seed(42),
)
frames = output.frames[0]
export_to_gif(frames, "animacion.gif")

Funcionalidades

Transformación de modelos de Texto a Imagen en videos.
Utiliza módulos de movimiento.
Compatibilidad con modelos finetuned basados en SD 1.5.

Casos de uso

Creación de videos detallados y de alta calidad
Transformación de descripciones de texto en animaciones visuales