Step-Video-T2V

stepfun-ai

Texto a video

Modelo abierto de generación de vídeo a partir de texto desarrollado por StepFun. Cuenta con 30.000 millones de parámetros y puede producir vídeos de hasta 204 fotogramas. Combina un Video-VAE de alta compresión, una arquitectura DiT con atención 3D completa y ajuste mediante DPO basado en preferencias humanas para generar secuencias más fluidas, realistas y con menos artefactos.

Como usar

Para una integración básica con Diffusers:
pip install -U diffusers transformers accelerate

import torch
from diffusers import DiffusionPipeline

# Cambia a "mps" para dispositivos Apple
pipe = DiffusionPipeline.from_pretrained(
    "stepfun-ai/stepvideo-t2v",
    dtype=torch.bfloat16,
    device_map="cuda"
)

prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
image = pipe(prompt).images[0]

Para usar la implementación oficial, se requiere Python 3.10 o posterior, PyTorch 2.3 con CUDA 12.1, CUDA Toolkit, FFmpeg y una GPU NVIDIA. La configuración recomendada utiliza cuatro o más GPU, preferiblemente con 80 GB de memoria:
git clone https://github.com/stepfun-ai/Step-Video-T2V.git
conda create -n stepvideo python=3.10
conda activate stepvideo
cd Step-Video-T2V
pip install -e .
pip install flash-attn --no-build-isolation  # Opcional

Inicia los servicios remotos del codificador de texto y del decodificador VAE:
python api/call_remote_server.py --model_dir where_you_download_dir &

Ejecuta la inferencia distribuida usando la URL devuelta por el comando anterior:
parallel=4 # o parallel=8
url='127.0.0.1'
model_dir=where_you_download_dir

torchrun --nproc_per_node $parallel run_parallel.py \
  --model_dir $model_dir \
  --vae_url $url \
  --caption_url $url \
  --ulysses_degree $parallel \
  --prompt "一名宇航员在月球上发现一块石碑，上面印有“stepfun”字样，闪闪发光" \
  --infer_steps 50 \
  --cfg_scale 9.0 \
  --time_shift 13.0

Para Step-Video-T2V se recomiendan 30–50 pasos, cfg_scale=9.0, time_shift=13.0 y 204 fotogramas. Para la variante Turbo se recomiendan 10–15 pasos, cfg_scale=5.0, time_shift=17.0 y 204 fotogramas.

Funcionalidades

Generación de vídeos de hasta 204 fotogramas a partir de instrucciones de texto.
Compatibilidad bilingüe con indicaciones en inglés y chino mediante dos codificadores de texto preentrenados.
Video-VAE con compresión espacial de 16×16 y temporal de 8×.
DiT de 48 capas, 48 cabezas de atención por capa y atención 3D completa.
Entrenamiento mediante Flow Matching y condicionamiento por texto y pasos temporales.
Ajuste Video-DPO con preferencias humanas para mejorar la consistencia, el realismo y la calidad visual.
Soporte para distintas duraciones y resoluciones mediante 3D RoPE.
Variante Step-Video-T2V-Turbo con destilación de pasos para acelerar la inferencia.
Pesos en formato Safetensors y licencia MIT.

Casos de uso

Creación de clips cinematográficos a partir de descripciones en lenguaje natural.
Generación de escenas con personas, animales, paisajes, comida o actividades deportivas.
Producción de animaciones 3D y vídeos con estilos visuales específicos.
Prototipado de conceptos audiovisuales surrealistas o combinaciones creativas.
Generación bilingüe de vídeo para proyectos dirigidos a públicos anglófonos y chinos.
Investigación y evaluación de sistemas de generación de vídeo mediante Step-Video-T2V-Eval.