smktech9/ltx-video

smktech9

Texto a video

Adaptador LoRA afinado sobre Lightricks/LTX-Video para generación de vídeo a partir de texto, entrenado con finetrainers. Requiere incluir el token `BW_STYLE` en los prompts cuando se utilizó durante el entrenamiento.

Como usar

Instala Diffusers y carga el adaptador LoRA sobre el modelo base:
pip install -U diffusers transformers accelerate

import torch
from diffusers import DiffusionPipeline
from diffusers.utils import export_to_video

pipe = DiffusionPipeline.from_pretrained(
    "Lightricks/LTX-Video",
    dtype=torch.bfloat16,
    device_map="cuda",
)
pipe.load_lora_weights("smktech9/ltx-video")
prompt = "A man with short gray hair plays a red electric guitar."
output = pipe(prompt=prompt).frames[0]
export_to_video(output, "output.mp4")

En dispositivos Apple, cambia el dispositivo a mps. Descarga los archivos LoRA desde la pestaña «Files and versions».

Funcionalidades

Generación de vídeo a partir de texto mediante Diffusers
Adaptador LoRA para Lightricks/LTX-Video
Compatible con DiffusionPipeline y aceleración CUDA/bfloat16
Token de estilo específico: `BW_STYLE`

Casos de uso

Crear clips de vídeo a partir de descripciones textuales con el estilo aprendido por el adaptador
Probar variaciones estilísticas de LTX-Video mediante prompts que incluyan `BW_STYLE`
Integrar generación de vídeo LoRA en aplicaciones locales compatibles con Diffusers