LTXV_13B_LoRA_Dance_from_gui

naomiKenKorem

Texto a video

Versión de LTXV_13B_097_DEV ajustada mediante LoRA con datos personalizados para generar vídeo a partir de texto o imágenes dentro del ecosistema LTXV de Lightricks.

Como usar

Instalación y ejemplo mostrado para Diffusers:
pip install -U diffusers transformers accelerate

import torch
from diffusers import DiffusionPipeline

# switch to "mps" for apple devices
pipe = DiffusionPipeline.from_pretrained(
    "naomiKenKorem/LTXV_13B_LoRA_Dance_from_gui",
    torch_dtype=torch.bfloat16,
    device_map="cuda"
)

prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
image = pipe(prompt).images[0]

Para usar la LoRA entrenada en ComfyUI, copia el archivo de pesos .safetensors en la carpeta models/loras de la instalación. Después, añade el nodo «LTXV LoRA Selector» para seleccionar el archivo y conéctalo a «LTXV LoRA Loader» para aplicarlo a la generación. Los flujos de referencia de texto a vídeo e imagen a vídeo están disponibles en el repositorio oficial de LTXV para ComfyUI.

Funcionalidades

Ajuste fino LoRA sobre el modelo base LTXV_13B_097_DEV.
Entrenado durante 600 pasos con una tasa de aprendizaje de 0,0002 y un tamaño de lote de 1.
Compatible con flujos de texto a vídeo e imagen a vídeo de LTXV.
Integración con ComfyUI mediante los nodos «LTXV LoRA Selector» y «LTXV LoRA Loader».
Utiliza indicaciones en inglés; el ejemplo de validación publicado es «cakefy a mountain».
Hereda la licencia del modelo base LTXV_13B_097_DEV.

Casos de uso

Generación de vídeos a partir de instrucciones textuales con el pipeline LTXV.
Aplicación del estilo o comportamiento aprendido por la LoRA a flujos de vídeo en ComfyUI.
Generación de vídeo a partir de una imagen mediante flujos I2V compatibles con LTXV.
Experimentación con indicaciones como «cakefy a mountain» usando los pesos ajustados.