naomiKenKorem/LTXV_13B_LoRA_pose_tmp
naomiKenKorem
Texto a video
LoRA de video generativo ajustada sobre LTXV_13B_097_DEV para mejorar generaciones de texto a video e imagen a video con poses y escenas humanas sencillas. Fue entrenada con datos personalizados durante 80.000 pasos, con tasa de aprendizaje 0.0002 y batch size 1.
Como usar
Instalación y uso básico con Diffusers:
pip install -U diffusers transformers accelerate
import torch
from diffusers import DiffusionPipeline
# switch to "mps" for apple devices
pipe = DiffusionPipeline.from_pretrained("naomiKenKorem/LTXV_13B_LoRA_pose_tmp", dtype=torch.bfloat16, device_map="cuda")
prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
image = pipe(prompt).images[0]
En ComfyUI, copia los pesos LoRA entrenados al directorio models/loras, añade el nodo LTXV LoRA Selector para elegir el archivo y conéctalo a LTXV LoRA Loader para aplicar la LoRA durante la generación.
Funcionalidades
- Ajuste fino LoRA basado en LTXV_13B_097_DEV.
- Compatible con flujos de LTXV para texto a video e imagen a video.
- Pensado para usarse en Diffusers y en ComfyUI mediante nodos de LoRA de LTXV.
- Incluye ejemplos de validación centrados en personas caminando, conversando o en interiores.
- Hereda la licencia del modelo base LTXV_13B_097_DEV.
Casos de uso
- Generar clips de texto a video con sujetos humanos en movimiento.
- Probar prompts de escenas cotidianas como una persona caminando o una mujer en una habitación.
- Aplicar una LoRA personalizada dentro de flujos LTXV en ComfyUI.
- Experimentar con flujos T2V e I2V basados en LTX-Video.