wan21_kapi_01-lora

spamnco

Texto a video

Adaptador LoRA creado por spamnco para el modelo base Wan-AI/Wan2.1-T2V-14B-Diffusers. Fue entrenado con AI Toolkit de Ostris y utiliza «kapi» como palabra de activación para generar contenido visual asociado al concepto aprendido. Sus pesos están disponibles en formato Safetensors bajo la licencia CreativeML Open RAIL-M.

Como usar

Instalación:
pip install -U diffusers transformers accelerate

Generación de vídeo con Diffusers:
import torch
from diffusers import DiffusionPipeline
from diffusers.utils import export_to_video

# Cambia a "mps" para dispositivos Apple
pipe = DiffusionPipeline.from_pretrained(
    "Wan-AI/Wan2.1-T2V-14B-Diffusers",
    torch_dtype=torch.bfloat16,
    device_map="cuda"
)
pipe.load_lora_weights("spamnco/wan21_kapi_01-lora")

prompt = "kapi"
output = pipe(prompt=prompt).frames[0]
export_to_video(output, "output.mp4")

La página también proporciona este ejemplo para cargar un archivo de pesos específico y generar una imagen:
from diffusers import AutoPipelineForText2Image
import torch

pipeline = AutoPipelineForText2Image.from_pretrained(
    'Wan-AI/Wan2.1-T2V-14B-Diffusers',
    torch_dtype=torch.bfloat16
).to('cuda')
pipeline.load_lora_weights(
    'spamnco/wan21_kapi_01-lora',
    weight_name='wan21_kapi_01_000003250.safetensors'
)
image = pipeline('kapi').images[0]
image.save("my_image.png")

Funcionalidades

Adaptador LoRA para Wan2.1-T2V-14B-Diffusers
Generación de texto a vídeo
Palabra de activación: «kapi»
Compatible con la biblioteca Diffusers
Pesos disponibles en formato Safetensors
Puede descargarse para herramientas como ComfyUI, AUTOMATIC1111, SD.Next e Invoke AI
No está desplegado actualmente mediante proveedores de inferencia

Casos de uso

Generar vídeos a partir de prompts que incluyan la palabra «kapi»
Aplicar el concepto visual aprendido por el LoRA al modelo Wan2.1 T2V de 14B
Integrar el adaptador en flujos locales basados en Diffusers
Usar sus pesos Safetensors en interfaces compatibles como ComfyUI o Invoke AI