Lightricks/LTX-Video-ICLoRA-pose-13b-0.9.7
Lightricks
Texto a video
Modelo de control de pose para generación de video basado en LTXV_13B_097_DEV. Usa In-Context LoRA para incorporar contexto de video en el proceso de generación, permitiendo control video-a-video sobre un modelo texto-a-video mediante fotogramas de referencia durante la inferencia.
Como usar
Instalación y uso básico con Diffusers:
pip install -U diffusers transformers accelerate
import torch
from diffusers import DiffusionPipeline
# switch to "mps" for apple devices
pipe = DiffusionPipeline.from_pretrained("Lightricks/LTX-Video-ICLoRA-pose-13b-0.9.7", dtype=torch.bfloat16, device_map="cuda")
prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
image = pipe(prompt).images[0]
Para ComfyUI, copia los pesos LoRA entrenados en la carpeta models/loras de la instalación de ComfyUI y usa ic_lora/ic-lora.json del repositorio oficial de LTXV ComfyUI.
Funcionalidades
- Control de pose para generación de video con LTX-Video.
- Entrenado como IC LoRA sobre el modelo base LTXV_13B_097_DEV.
- Compatible con Diffusers mediante pesos ltxv-097-ic-lora-pose-control-diffusers.safetensors.
- Compatible con ComfyUI mediante pesos ltxv-097-ic-lora-pose-control-comfyui.safetensors.
- Configuración indicada: learning rate 0.0002 y rank 24.
- No está desplegado en proveedores de inferencia de Hugging Face.
Casos de uso
- Generación de video con control de pose a partir de texto y contexto visual.
- Edición o transformación video-a-video condicionada por fotogramas de referencia.
- Flujos de trabajo en ComfyUI para aplicar LoRA de control de pose en LTX-Video.
- Experimentación local con LTXV y Diffusers para generación de video controlada.