Lightricks/LTX-Video-ICLoRA-canny-13b-0.9.7
Lightricks
Texto a video
Modelo de control Canny para generación y transformación de video, construido sobre LTXV_13B_097_DEV. Usa In-Context LoRA para condicionar la generación con fotogramas de referencia y permitir control video-a-video sobre un modelo texto-a-video.
Como usar
Instalación y uso básico con Diffusers:
pip install -U diffusers transformers accelerate
import torch
from diffusers import DiffusionPipeline
# switch to "mps" for apple devices
pipe = DiffusionPipeline.from_pretrained(
"Lightricks/LTX-Video-ICLoRA-canny-13b-0.9.7",
dtype=torch.bfloat16,
device_map="cuda"
)
prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
image = pipe(prompt).images[0]
Para ComfyUI, copia los pesos LoRA entrenados a models/loras dentro de tu instalación de ComfyUI y usa ic_lora/ic-lora.json del repositorio oficial LTXV ComfyUI.
Funcionalidades
- Control Canny para guiar la estructura visual del video generado.
- Entrenado como IC LoRA sobre el modelo base LTXV_13B_097_DEV.
- Compatible con Diffusers mediante pesos `ltxv-097-ic-lora-canny-control-diffusers.safetensors`.
- Compatible con ComfyUI mediante pesos `ltxv-097-ic-lora-canny-control-comfyui.safetensors`.
- Entrenado con el dataset Lightricks/Canny-Control-Dataset.
- Tasa de aprendizaje reportada: 0.0002.
Casos de uso
- Generación de video con control estructural basado en bordes Canny.
- Video-a-video condicionado por fotogramas de referencia.
- Prototipado de flujos LTX-Video en ComfyUI.
- Experimentos con LoRA contextual para mantener composición o movimiento más controlado en videos generados.