comfyuiman/scoobyltx

comfyuiman

Texto a video

Modelo de texto a video ajustado con LoRA a partir de ltx-2-19b-dev.safetensors, entrenado durante 8000 pasos con datos personalizados para usarse dentro del flujo LTX-2 de Lightricks Audio-Video.

Como usar

Instalación y uso con Diffusers:
pip install -U diffusers transformers accelerate

import torch
from diffusers import DiffusionPipeline

# switch to "mps" for apple devices
pipe = DiffusionPipeline.from_pretrained("comfyuiman/scoobyltx", dtype=torch.bfloat16, device_map="cuda")

prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
image = pipe(prompt).images[0]

Para usar la LoRA entrenada en ComfyUI, copia el checkpoint .safetensors a models/loras, añade el nodo Load LoRA, selecciona el archivo LoRA y conéctalo al nodo Load Checkpoint para aplicarlo al modelo base LTX-2.

Funcionalidades

Ajuste fino LoRA sobre el modelo base ltx-2-19b-dev.safetensors.
Orientado a generación de video desde texto con la tubería LTX-2.
Compatible con flujos de ComfyUI mediante nodos Load LoRA y Load Checkpoint.
Entrenado con tasa de aprendizaje 0.0001 y tamaño de lote 1.
Incluye referencia a flujos T2V e I2V del repositorio oficial de LTX-2.

Casos de uso

Generación de videos a partir de prompts de texto usando LTX-2.
Aplicación de una LoRA personalizada en ComfyUI para flujos de texto a video.
Experimentación con workflows T2V e I2V basados en Lightricks Audio-Video.