Harahan/QVGen-CogVideoX-2B-W4A4

Harahan

Texto a video

Modelo generativo de texto a vídeo basado en CogVideoX-2B y cuantizado a 4 bits para pesos y activaciones (W4A4). Forma parte de QVGen, un método diseñado para mantener una calidad comparable a la precisión completa con menor coste de memoria y computación. El modelo tiene 2.000 millones de parámetros, utiliza tensores BF16 y fue entrenado con el conjunto de datos OpenVid-1M.

Como usar

Instala las dependencias y carga el modelo con Diffusers. El ejemplo proporcionado usa CUDA y precisión BF16; para dispositivos Apple se indica cambiar el dispositivo a mps.
pip install -U diffusers transformers accelerate

import torch
from diffusers import DiffusionPipeline

# switch to "mps" for apple devices
pipe = DiffusionPipeline.from_pretrained(
    "Harahan/QVGen-CogVideoX-2B-W4A4",
    dtype=torch.bfloat16,
    device_map="cuda"
)

prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
image = pipe(prompt).images[0]

Funcionalidades

Generación de vídeo a partir de descripciones textuales
Cuantización W4A4: pesos y activaciones de 4 bits
Arquitectura base CogVideoX-2B
2.000 millones de parámetros
Calidad orientada a aproximarse a modelos de precisión completa
Compatible con la biblioteca Diffusers
Distribuido en formato Safetensors bajo licencia Apache 2.0

Casos de uso

Crear vídeos a partir de indicaciones escritas
Experimentar con generación de vídeo cuantizada en hardware con memoria limitada
Investigar la relación entre cuantización y calidad visual en modelos generativos de vídeo
Comparar modelos CogVideoX cuantizados con versiones de precisión completa
Desarrollar prototipos locales de generación de vídeo mediante Diffusers