Wan2.1-T2V-1.3B-nf4

sarthak247

Texto a video

Versión cuantizada en NF4 de 4 bits del modelo Wan2.1-T2V-1.3B, diseñada para generar vídeo a partir de descripciones de texto con un menor consumo de VRAM. La cuantización de sus capas lineales reduce el modelo de difusión de aproximadamente 6 GB a cerca de 1 GB. Está basada en Wan-AI/Wan2.1-T2V-1.3B y se distribuye bajo la licencia Apache 2.0.

Como usar

Instala las dependencias:
pip install -U diffusers transformers accelerate

Carga el modelo con Diffusers:
import torch
from diffusers import DiffusionPipeline

# Cambia a "mps" para dispositivos Apple
pipe = DiffusionPipeline.from_pretrained(
    "sarthak247/Wan2.1-T2V-1.3B-nf4",
    dtype=torch.bfloat16,
    device_map="cuda"
)

prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
image = pipe(prompt).images[0]

También puede probarse en entornos de notebook como Google Colab y Kaggle. La página advierte que el codificador T5-UMT continúa requiriendo mucha VRAM, por lo que la ejecución completa puede seguir siendo difícil en una GPU de 8 GB.

Funcionalidades

Generación de vídeo a partir de texto
Cuantización NF4 de 4 bits mediante bitsandbytes
Menor uso de VRAM que el modelo base
Capas lineales del modelo de difusión cuantizadas
Integración con la biblioteca Diffusers
Pesos disponibles en formato Safetensors
Compatible con precisión bfloat16 durante la carga
La VAE no está cuantizada porque no contiene capas lineales
El codificador T5-UMT no está incluido todavía en la optimización de memoria

Casos de uso

Crear vídeos a partir de indicaciones textuales
Experimentar con Wan2.1 en equipos con menos memoria gráfica
Probar flujos locales de generación de vídeo con Diffusers
Investigar técnicas de cuantización NF4 aplicadas a modelos de difusión de vídeo
Desarrollar prototipos de contenido audiovisual generado por IA