ovi054/LTX-2-19b-ghibli-style-LoRA
ovi054
Texto a video
LoRA de texto a video ajustado sobre LTX-2-19B de Lightricks para generar videos con estética de animación cel dibujada a mano inspirada en Studio Ghibli. Está entrenado con datos personalizados y se aplica como adaptador sobre el modelo base Lightricks/LTX-2.
Como usar
Instalación y uso con Diffusers:
pip install -U diffusers transformers accelerate
import torch
from diffusers import DiffusionPipeline
from diffusers.utils import export_to_video
# switch to "mps" for apple devices
pipe = DiffusionPipeline.from_pretrained("Lightricks/LTX-2", dtype=torch.bfloat16, device_map="cuda")
pipe.load_lora_weights("ovi054/LTX-2-19b-ghibli-style-LoRA")
prompt = "A man with short gray hair plays a red electric guitar."
output = pipe(prompt=prompt).frames[0]
export_to_video(output, "output.mp4")
Para ComfyUI, copia el archivo .safetensors del LoRA en models/loras, añade el nodo Load LoRA, selecciona el archivo y conéctalo al nodo Load Checkpoint para aplicar el adaptador al modelo base LTX-2. Los flujos de referencia T2V e I2V están en el repositorio oficial de LTX-2.
Funcionalidades
- Adaptador LoRA para el pipeline LTX-2 de generación audio-video/texto a video.
- Especializado en un estilo pictórico, cinematográfico y sereno de animación dibujada a mano.
- Incluye palabra activadora: `Studio Ghibli hand-drawn cel animation style`.
- Compatible con Diffusers y flujos de ComfyUI mediante nodo Load LoRA.
- Modelo adaptador basado en `Lightricks/LTX-2`, no un checkpoint independiente.
Casos de uso
- Generación de videos cortos a partir de texto con estética de animación japonesa dibujada a mano.
- Validación de prompts cinematográficos con paisajes, personajes y movimiento fluido.
- Producción de clips text-to-video en Diffusers usando LTX-2 como base.
- Uso en ComfyUI para workflows T2V o I2V que necesiten un estilo visual tipo cel animation.