SkyReels-V2-DF-14B-720P

jobs-git

Texto a video

Modelo abierto de generación de vídeo de 14.000 millones de parámetros basado en Diffusion Forcing. Genera vídeo a 720p desde texto o una imagen y puede extender secuencias de forma autorregresiva a partir de los fotogramas anteriores, con especial atención a la continuidad temporal, el movimiento y el seguimiento de instrucciones cinematográficas.

Como usar

Instalación y carga básica con Diffusers:
pip install -U diffusers transformers accelerate

import torch
from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained(
    "jobs-git/SkyReels-V2-DF-14B-720P",
    dtype=torch.bfloat16,
    device_map="cuda",
)

prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
image = pipe(prompt).images[0]

Para usar la implementación oficial:
git clone https://github.com/SkyworkAI/SkyReels-V2
cd SkyReels-V2
pip install -r requirements.txt

Ejemplo orientativo de generación autorregresiva síncrona a 720p:
model_id=jobs-git/SkyReels-V2-DF-14B-720P

python3 generate_video_df.py \
  --model_id ${model_id} \
  --resolution 720P \
  --ar_step 0 \
  --base_num_frames 121 \
  --num_frames 257 \
  --overlap_history 17 \
  --prompt "A graceful white swan swimming in a serene lake at dawn" \
  --addnoise_condition 20 \
  --offload

Para imagen a vídeo, se añade --image ${image_path} y conviene describir también el contenido del primer fotograma en el prompt. La inferencia del modelo de 14B exige una GPU de alta memoria; la documentación informa de unos 51,2 GB de VRAM para la variante Diffusion Forcing de 14B a 540p, por lo que la versión 720p puede requerir aún más recursos o ejecución multi-GPU.

Funcionalidades

Generación de texto a vídeo e imagen a vídeo.
Salida recomendada de 720 × 1280 píxeles y 121 fotogramas base.
Generación autorregresiva de vídeos de duración ampliable mediante Diffusion Forcing.
Inferencia síncrona o asíncrona; el modo asíncrono puede mejorar el seguimiento de instrucciones y la consistencia visual.
Solapamiento de fotogramas entre segmentos para suavizar las transiciones.
Aceleración multi-GPU mediante xDiT USP.
Descarga de componentes a la CPU para reducir el consumo de VRAM.
Compatibilidad con TeaCache y Retention Steps para acelerar la inferencia.
Ajuste supervisado de alta calidad específico para resolución 720p.
Pesos distribuidos en formato Safetensors bajo la licencia Skywork.

Casos de uso

Creación de secuencias cinematográficas largas a partir de descripciones textuales.
Animación de una imagen inicial manteniendo su identidad visual durante la secuencia.
Generación de historias visuales formadas por segmentos autorregresivos conectados.
Prototipado de planos, movimientos de cámara y composiciones para cine o publicidad.
Producción de escenas con varios sujetos y continuidad temporal.
Investigación sobre generación de vídeo de larga duración mediante Diffusion Forcing.