SkyReels-V2-DF-14B-540P-Diffusers

Skywork

Texto a video

Modelo abierto de generación de vídeo de 14.000 millones de parámetros desarrollado por Skywork. Utiliza una arquitectura autorregresiva Diffusion Forcing para crear y prolongar vídeos a 540p a partir de texto, imágenes o secuencias existentes. Está orientado a vídeos largos con continuidad temporal, seguimiento preciso de instrucciones y movimientos visualmente coherentes.

Como usar

Instala las dependencias y ejecuta la canalización de Diffusers en una GPU compatible con CUDA:
pip install -U diffusers transformers accelerate ftfy

import torch
from diffusers import (
    AutoModel,
    SkyReelsV2DiffusionForcingPipeline,
    UniPCMultistepScheduler,
)
from diffusers.utils import export_to_video

model_id = "Skywork/SkyReels-V2-DF-14B-540P-Diffusers"

vae = AutoModel.from_pretrained(
    model_id,
    subfolder="vae",
    torch_dtype=torch.float32,
)

pipeline = SkyReelsV2DiffusionForcingPipeline.from_pretrained(
    model_id,
    vae=vae,
    torch_dtype=torch.bfloat16,
)

pipeline.scheduler = UniPCMultistepScheduler.from_config(
    pipeline.scheduler.config,
    flow_shift=8.0,
)
pipeline = pipeline.to("cuda")

prompt = (
    "A cat and a dog baking a cake together in a cozy kitchen, "
    "with sunlight streaming through the window."
)

frames = pipeline(
    prompt=prompt,
    num_inference_steps=30,
    height=544,
    width=960,
    num_frames=97,
    base_num_frames=97,
    ar_step=5,
    causal_block_size=5,
    overlap_history=None,
    addnoise_condition=20,
).frames[0]

export_to_video(frames, "video.mp4", fps=24, quality=8)

Para generar secuencias largas desde el repositorio oficial, puede usarse inferencia síncrona con --ar_step 0 o asíncrona con --ar_step 5. Los autores recomiendan 97 fotogramas base, un solapamiento de 17 y addnoise_condition=20. La variante asíncrona es más lenta, pero puede mejorar la fidelidad a las instrucciones y la consistencia visual.

Funcionalidades

Generación de texto a vídeo a una resolución recomendada de 960 × 544 píxeles.
Generación de imagen a vídeo mediante un fotograma inicial y, opcionalmente, uno final.
Extensión de vídeos existentes con la canalización de vídeo a vídeo.
Generación autorregresiva de vídeos de duración potencialmente ilimitada mediante Diffusion Forcing.
Inferencia síncrona o asíncrona, con solapamiento de fotogramas para suavizar las transiciones.
Integración directa con Hugging Face Diffusers y pesos en formato Safetensors.
Aceleración multi-GPU mediante xDiT USP y reducción de memoria con descarga de componentes a la CPU.
Mejoras de movimiento mediante aprendizaje por refuerzo y refinamiento supervisado de alta calidad.
Puntuación total de 83,9 % y puntuación de calidad de 84,7 % en VBench, según la evaluación publicada por sus autores.
Requiere aproximadamente 51,2 GB de VRAM para generar vídeo a 540p con la variante Diffusion Forcing de 14B.

Casos de uso

Creación de escenas cinematográficas largas a partir de descripciones textuales.
Conversión de ilustraciones, fotografías o fotogramas clave en secuencias animadas.
Prolongación de vídeos existentes conservando su contexto visual reciente.
Generación de historias audiovisuales divididas en segmentos temporalmente coherentes.
Previsualización de planos, movimientos de cámara y conceptos para cine o publicidad.
Producción de prototipos de animación y contenido visual generado por IA.
Investigación sobre generación autorregresiva de vídeo y Diffusion Forcing.