AnimateDiff-Lightning

ByteDance
Texto a video

AnimateDiff-Lightning es un modelo de generación de texto a video ultra rápido. Puede generar videos más de diez veces más rápido que el AnimateDiff original. Para más información, por favor consulte nuestro artículo de investigación: AnimateDiff-Lightning: Cross-Model Diffusion Distillation. Lanzamos el modelo como parte de la investigación.

Como usar

import torch
from diffusers import AnimateDiffPipeline, MotionAdapter, EulerDiscreteScheduler
from diffusers.utils import export_to_gif
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file

device = "cuda"
dtype = torch.float16

step = 4 # Opciones: [1,2,4,8]
repo = "ByteDance/AnimateDiff-Lightning"
ckpt = f"animatediff_lightning_{step}step_diffusers.safetensors"
base = "emilianJR/epiCRealism" # Elija su modelo base favorito.

adapter = MotionAdapter().to(device, dtype)
adapter.load_state_dict(load_file(hf_hub_download(repo, ckpt), device=device))
pipe = AnimateDiffPipeline.from_pretrained(base, motion_adapter=adapter, torch_dtype=dtype).to(device)
pipe.scheduler = EulerDiscreteScheduler.from_config(pipe.scheduler.config, timestep_spacing="trailing", beta_schedule="linear")

output = pipe(prompt="Una chica sonriendo", guidance_scale=1.0, num_inference_steps=step)
export_to_gif(output.frames[0], "animation.gif")

Uso con ComfyUI:

  1. Descargue animatediff_lightning_workflow.json e impórtelo en ComfyUI.
  2. Instale nodos. Puedes instalarlos manualmente o usar ComfyUI-Manager.
    • ComfyUI-AnimateDiff-Evolved
    • ComfyUI-VideoHelperSuite
  3. Descargue su punto de control modelo base favorito y colóquelo bajo /models/checkpoints/.
  4. Descargue el punto de control de AnimateDiff-Lightning animatediff_lightning_Nstep_comfyui.safetensors y colóquelo bajo /custom_nodes/ComfyUI-AnimateDiff-Evolved/models/.

Generación de video a video:

  1. Descargue animatediff_lightning_v2v_openpose_workflow.json e impórtelo en ComfyUI.
  2. Instale nodos. Puedes instalarlos manualmente o usar ComfyUI-Manager.
    • ComfyUI-AnimateDiff-Evolved
    • ComfyUI-VideoHelperSuite
    • ComfyUI-Advanced-ControlNet
    • comfyui_controlnet_aux
  3. Descargue su punto de control modelo base favorito y colóquelo bajo /models/checkpoints/.
  4. Descargue el punto de control de AnimateDiff-Lightning animatediff_lightning_Nstep_comfyui.safetensors y colóquelo bajo /custom_nodes/ComfyUI-AnimateDiff-Evolved/models/.
  5. Descargue el punto de control de ControlNet OpenPose control_v11p_sd15_openpose.pth y colóquelo bajo /models/controlnet/.
  6. Suba su video y ejecute la tubería.

Notas adicionales:

  • El video no debe ser muy largo ni de resolución muy alta. Utilizamos videos de 576x1024, 8 segundos y 30 fps para pruebas.
  • Ajuste la tasa de fotogramas para que coincida con su video de entrada. Esto permite que el audio coincida con el video de salida.
  • DWPose descargará el punto de control por sí mismo en su primera ejecución.
  • DWPose puede quedarse atascado en la UI, pero la tubería en realidad sigue ejecutándose en segundo plano. Revise el log de ComfyUI y su carpeta de salida.

Funcionalidades

Modelo de generación de texto a video extremadamente rápido
Capacidad de generar videos más de diez veces más rápido que la versión original
Modelos destilados de AnimateDiff SD1.5 v2 en versiones de 1, 2, 4 y 8 pasos
Calidad de generación excepcional en modelos de 2, 4 y 8 pasos
El modelo de 1 paso solo se proporciona con fines de investigación

Casos de uso

Generación rápida de videos a partir de texto
Creación de videos estilizados usando modelos base realistascos y de anime/caricaturas
Generación de video a video