AnimateDiff-Lightning
JCTN
Texto a video
AnimateDiff-Lightning es un modelo de generación de texto a video extremadamente rápido. Puede generar videos más de diez veces más rápido que el AnimateDiff original. Para más información, consulte nuestro documento de investigación: AnimateDiff-Lightning: Cross-Model Diffusion Distillation. Publicamos el modelo como parte de nuestra investigación. Nuestros modelos se destilan de AnimateDiff SD1.5 v2. Este repositorio contiene puntos de control para modelos destilados de 1 paso, 2 pasos, 4 pasos y 8 pasos. La calidad de generación de nuestros modelos de 2 pasos, 4 pasos y 8 pasos es excelente. Nuestro modelo de 1 paso solo se proporciona para fines de investigación.
Como usar
import torch
from diffusers import AnimateDiffPipeline, MotionAdapter, EulerDiscreteScheduler
from diffusers.utils import export_to_gif
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file
device = "cuda"
dtype = torch.float16
step = 4 # Opciones: [1,2,4,8]
repo = "ByteDance/AnimateDiff-Lightning"
ckpt = f"animatediff_lightning_{step}step_diffusers.safetensors"
base = "emilianJR/epiCRealism" # Elija su modelo base favorito.
adapter = MotionAdapter().to(device, dtype)
adapter.load_state_dict(load_file(hf_hub_download(repo ,ckpt), device=device))
pipe = AnimateDiffPipeline.from_pretrained(base, motion_adapter=adapter, torch_dtype=dtype).to(device)
pipe.scheduler = EulerDiscreteScheduler.from_config(pipe.scheduler.config, timestep_spacing="trailing", beta_schedule="linear")
output = pipe(prompt="Una chica sonriendo", guidance_scale=1.0, num_inference_steps=step)
export_to_gif(output.frames[0], "animation.gif")
Funcionalidades
- Generación de texto a video extremadamente rápida
- Modelos destilados de 1 paso, 2 pasos, 4 pasos y 8 pasos
- Calidad de generación excelente en los modelos de 2, 4 y 8 pasos
- Modelo de 1 paso disponible para fines de investigación
- Compatible con modelos base estilizados
- Compatibilidad con Motion LoRAs para un movimiento más fuerte
Casos de uso
- Generación de videos de texto a video
- Generación de video a video
- Aplicaciones de estilo realista y de anime/carácteres animados