lightx2v/Self-Forcing-FP8

lightx2v
Texto a video

Checkpoint FP8 de la familia Self-Forcing para generación de video autorregresiva eficiente a partir de texto. Está basado en Wan-AI/Wan2.1-T2V-1.3B-Diffusers y se usa mediante Diffusers para generar video o imágenes/video desde prompts descriptivos.

Como usar

Instalación y ejemplo de uso con Diffusers:

pip install -U diffusers transformers accelerate
import torch
from diffusers import DiffusionPipeline

# switch to "mps" for apple devices
pipe = DiffusionPipeline.from_pretrained("lightx2v/Self-Forcing-FP8", dtype=torch.bfloat16, device_map="cuda")

prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
image = pipe(prompt).images[0]

Funcionalidades

Generación de video a partir de texto con Diffusers.
Checkpoint optimizado en FP8 dentro de la familia Self-Forcing.
Basado en Wan-AI/Wan2.1-T2V-1.3B-Diffusers.
Licencia MIT.
No está desplegado actualmente en proveedores de inferencia de Hugging Face.

Casos de uso

Crear clips o salidas visuales generadas desde prompts de texto.
Experimentar con checkpoints Self-Forcing para generación de video eficiente.
Probar un modelo derivado de Wan2.1-T2V-1.3B en flujos locales con Diffusers.