TransPixar

wileewang

Texto a video

Modelo de generación de vídeo a partir de texto que amplía modelos de vídeo preentrenados para producir vídeos RGBA con canal alfa transparente, conservando al mismo tiempo sus capacidades originales de generación RGB. Utiliza una arquitectura Diffusion Transformer (DiT), tokens específicos para alfa y ajuste fino mediante LoRA para mantener la coherencia entre el contenido visual y la transparencia.

Como usar

Instalación del entorno:
conda create -n TransPixar python=3.10
conda activate TransPixar
pip install -r requirements.txt

Ejecución de la demostración local basada en CogVideoX-5B:
python app.py

Generación de vídeos RGBA desde la línea de comandos:
python cli.py \
  --lora_path /path/to/lora \
  --prompt "..."

El repositorio también muestra un ejemplo genérico de carga con Diffusers:
pip install -U diffusers transformers accelerate

import torch
from diffusers import DiffusionPipeline

# switch to "mps" for apple devices
pipe = DiffusionPipeline.from_pretrained(
    "wileewang/TransPixar",
    torch_dtype=torch.bfloat16,
    device_map="cuda"
)

prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
image = pipe(prompt).images[0]

Funcionalidades

Generación conjunta de vídeo RGB y canal alfa (RGBA).
Conversión de texto a vídeo RGBA mediante CogVideoX-5B.
Arquitectura DiT con tokens específicos para representar el canal alfa.
Ajuste fino basado en LoRA para preservar las capacidades RGB del modelo base.
Alta correspondencia entre los fotogramas RGB y sus máscaras de transparencia.
Soporte previsto para generación de vídeo RGBA a partir de imágenes.
Orientado a efectos visuales con elementos transparentes como humo y reflejos.
Licencia Apache 2.0.

Casos de uso

Creación de recursos de vídeo transparentes para composición y efectos visuales.
Generación de humo, reflejos y otros elementos semitransparentes que puedan integrarse en escenas.
Producción de contenido audiovisual para entretenimiento, publicidad y educación.
Creación de elementos animados RGBA para experiencias interactivas.
Generación de vídeos transparentes a partir de descripciones textuales.