Lightricks/LTX-Video-ICLoRA-depth-13b-0.9.7
Lightricks
Texto a video
Modelo de control de profundidad para generación y edición de video basado en LTXV_13B_097_DEV. Usa In-Context LoRA para condicionar la generación con fotogramas de video de referencia, permitiendo control video-a-video sobre un modelo texto-a-video de Lightricks.
Como usar
Instalación y ejemplo básico con Diffusers:
pip install -U diffusers transformers accelerate
import torch
from diffusers import DiffusionPipeline
# switch to "mps" for apple devices
pipe = DiffusionPipeline.from_pretrained(
"Lightricks/LTX-Video-ICLoRA-depth-13b-0.9.7",
dtype=torch.bfloat16,
device_map="cuda"
)
prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
image = pipe(prompt).images[0]
Para ComfyUI, copia los pesos LoRA entrenados a la carpeta models/loras de la instalación de ComfyUI y usa ic_lora/ic-lora.json del repositorio oficial de LTXV ComfyUI.
Funcionalidades
- Control de profundidad para videos generados con LTXV 13B 0.9.7 DEV.
- Entrenado como IC LoRA sobre datos personalizados.
- Permite añadir contexto de video durante la inferencia para guiar la generación.
- Compatible con Diffusers mediante pesos `ltxv-097-ic-lora-depth-control-diffusers.safetensors`.
- Compatible con ComfyUI mediante pesos `ltxv-097-ic-lora-depth-control-comfyui.safetensors`.
- Modelo base: LTXV_13B_097_DEV; tipo de entrenamiento: IC LoRA; learning rate: 0.0002.
Casos de uso
- Generación de video con control explícito de profundidad.
- Transformación video-a-video usando fotogramas de referencia como condicionamiento.
- Flujos de ComfyUI para aplicar LoRAs de control sobre LTX-Video.
- Experimentos de generación visual donde la estructura espacial y la profundidad deben mantenerse más estables.