Skywork/SkyReels-V2-DF-14B-540P

Skywork
Texto a video

Modelo generativo de vídeo de 14B parámetros de la serie SkyReels V2, diseñado para generación cinematográfica de larga duración a 540P mediante arquitectura Diffusion Forcing autoregresiva. Soporta generación texto-a-vídeo e imagen-a-vídeo, con énfasis en continuidad temporal, seguimiento de instrucciones, movimiento y extensión de clips más allá de los 5-10 segundos habituales.

Como usar

Instalación:

git clone https://github.com/SkyworkAI/SkyReels-V2
cd SkyReels-V2
pip install -r requirements.txt

Inferencia síncrona para un vídeo de 10 segundos:

model_id=Skywork/SkyReels-V2-DF-14B-540P
python3 generate_video_df.py \
  --model_id ${model_id} \
  --resolution 540P \
  --ar_step 0 \
  --base_num_frames 97 \
  --num_frames 257 \
  --overlap_history 17 \
  --prompt "A graceful white swan with a curved neck and delicate feathers swimming in a serene lake at dawn, its reflection perfectly mirrored in the still water as mist rises from the surface, with the swan occasionally dipping its head into the water to feed." \
  --addnoise_condition 20 \
  --offload \
  --teacache \
  --use_ret_steps \
  --teacache_thresh 0.3

Inferencia asíncrona para un vídeo de 30 segundos:

model_id=Skywork/SkyReels-V2-DF-14B-540P
python3 generate_video_df.py \
  --model_id ${model_id} \
  --resolution 540P \
  --ar_step 5 \
  --causal_block_size 5 \
  --base_num_frames 97 \
  --num_frames 737 \
  --overlap_history 17 \
  --prompt "A graceful white swan with a curved neck and delicate feathers swimming in a serene lake at dawn, its reflection perfectly mirrored in the still water as mist rises from the surface, with the swan occasionally dipping its head into the water to feed." \
  --addnoise_condition 20 \
  --offload

Para imagen-a-vídeo, se añade --image ${image_path} y conviene usar un prompt descriptivo similar a texto-a-vídeo que incluya detalles del primer fotograma. Para longitudes mayores, el proyecto recomienda ajustar --num_frames, por ejemplo 257 para 10 s, 377 para 15 s, 737 para 30 s y 1457 para 60 s.

Funcionalidades

Generación de vídeo a 540P con configuración recomendada de 544 x 960 y 97 fotogramas base.
Arquitectura Diffusion Forcing para producir vídeos largos o de longitud extendida usando solapamiento de historial entre segmentos.
Soporte para inferencia síncrona y asíncrona; la asíncrona puede mejorar seguimiento de instrucciones y consistencia visual, aunque es más lenta.
Compatible con texto-a-vídeo e imagen-a-vídeo añadiendo una imagen inicial al comando de generación.
Modelo de 14B parámetros en formato Safetensors con tensores F32.
Puede usar CPU offload y TeaCache para reducir memoria o acelerar inferencia.
Inferencia multi-GPU mediante xDiT USP con torchrun.
Requiere aproximadamente 51.2 GB de VRAM pico para vídeos 540P con el modelo Diffusion Forcing de 14B.

Casos de uso

Generación de vídeos cinematográficos largos a partir de prompts de texto.
Extensión autoregresiva de escenas manteniendo continuidad entre segmentos.
Creación de vídeo a partir de una imagen inicial y una descripción textual.
Producción de clips narrativos, escenas con cámara y movimiento, y pruebas de generación visual de larga duración.
Investigación en Diffusion Forcing, vídeo generativo open source y evaluación frente a benchmarks como VBench.