Brian9999/game-editing
Brian9999
Texto a video
Modelo de difusión de video ajustado para síntesis y edición controlable de video de videojuegos. Permite modificar iluminación, atmósfera y efectos ambientales en metraje de juego mediante prompts de texto, usando G-buffers como condición para conservar la geometría y los materiales de la escena.
Como usar
Instalación y ejemplo con Diffusers:
pip install -U diffusers transformers accelerate
import torch
from diffusers import DiffusionPipeline
# switch to "mps" for apple devices
pipe = DiffusionPipeline.from_pretrained("Brian9999/game-editing", dtype=torch.bfloat16, device_map="cuda")
prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
image = pipe(prompt).images[0]
Funcionalidades
- Basado en Wan 2.1-T2V-1.3B y ajustado completamente para video de videojuegos.
- Usa G-buffers como entradas condicionales: basecolor/albedo, normales, profundidad, rugosidad y metalicidad.
- Control textual centrado en iluminación, condiciones ambientales, atmósfera y estilo visual.
- Genera clips a 832 x 480, 16 FPS y 81 fotogramas.
- Modelo en formato SafeTensors con pesos BF16 y aproximadamente 1.42B parámetros.
- Entrenado con clips de Black Myth: Wukong y evaluado también en Cyberpunk 2077 para comprobar generalización a otros entornos de juego.
Casos de uso
- Edición de videos de videojuegos para cambiar iluminación y efectos ambientales sin alterar la estructura de la escena.
- Síntesis controlable de video de juegos condicionada por G-buffers y prompts de texto.
- Relighting de escenas de videojuegos usando información geométrica y material densa.
- Generación de variantes estilizadas de metraje de juego manteniendo coherencia visual con la geometría original.