Lightricks/LTX-Video-ICLoRA-detailer-13b-0.9.8
Lightricks
Texto a video
Modelo detallador de video basado en LTXV_13B_098_DEV, entrenado con datos personalizados mediante In-Context LoRA. Permite añadir contexto de video al proceso de generación para controlar video a video sobre un modelo de texto a video, condicionando la inferencia con fotogramas de referencia.
Como usar
Instalación y uso con Diffusers:
pip install -U diffusers transformers accelerate
import torch
from diffusers import DiffusionPipeline
# switch to "mps" for apple devices
pipe = DiffusionPipeline.from_pretrained("Lightricks/LTX-Video-ICLoRA-detailer-13b-0.9.8", dtype=torch.bfloat16, device_map="cuda")
prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
image = pipe(prompt).images[0]
Uso en ComfyUI: copiar los pesos LoRA entrenados para ComfyUI en la carpeta models/loras de la instalación de ComfyUI y usar ic_lora/ic-lora.json del repositorio oficial LTXV ComfyUI.
Funcionalidades
- Modelo de texto a video e imagen a video compatible con el ecosistema LTX-Video.
- Entrenamiento IC LoRA para incorporar contexto de video durante la generación.
- Diseñado como detallador sobre el modelo base LTXV_13B_098_DEV.
- Pesos compatibles con ComfyUI y Diffusers: ltxv-098-ic-lora-detailer-comfyui.safetensors y ltxv-098-ic-lora-detailer-diffusers.safetensors.
- Tasa de aprendizaje reportada: 0.0002.
Casos de uso
- Mejorar el detalle visual de videos generados con LTX-Video.
- Controlar una generación video a video usando fotogramas de referencia como contexto.
- Crear variaciones de video más precisas a partir de instrucciones de texto y contexto visual.
- Integrar LoRAs entrenadas en flujos locales de ComfyUI o Diffusers.