VNKCWan21-lora

jude1903

Texto a video

Adaptador LoRA para Wan 2.1 T2V de 14B parámetros, entrenado con AI Toolkit para generar contenido visual de una mujer identificada mediante la palabra de activación «VNKC woman». Sus pesos se distribuyen en formato Safetensors bajo la licencia CreativeML Open RAIL-M.

Como usar

Instala las dependencias y carga el adaptador LoRA sobre el modelo base Wan 2.1 para generar un vídeo:
pip install -U diffusers transformers accelerate

import torch
from diffusers import DiffusionPipeline
from diffusers.utils import export_to_video

# switch to "mps" for apple devices
pipe = DiffusionPipeline.from_pretrained(
    "Wan-AI/Wan2.1-T2V-14B-Diffusers",
    torch_dtype=torch.bfloat16,
    device_map="cuda"
)
pipe.load_lora_weights("jude1903/VNKCWan21-lora")
prompt = "VNKC woman"
output = pipe(prompt=prompt).frames[0]
export_to_video(output, "output.mp4")

La página también proporciona este ejemplo para cargar directamente el archivo de pesos y guardar una imagen:
from diffusers import AutoPipelineForText2Image
import torch

pipeline = AutoPipelineForText2Image.from_pretrained(
    'Wan-AI/Wan2.1-T2V-14B-Diffusers',
    torch_dtype=torch.bfloat16
).to('cuda')
pipeline.load_lora_weights(
    'jude1903/VNKCWan21-lora',
    weight_name='VNKCWan21_000002250.safetensors'
)
image = pipeline('VNKC woman').images[0]
image.save("my_image.png")

Funcionalidades

Adaptador LoRA basado en Wan-AI/Wan2.1-T2V-14B-Diffusers.
Generación de vídeo a partir de texto mediante Diffusers.
Palabra de activación específica: «VNKC woman».
Pesos disponibles en formato Safetensors.
Compatible con Diffusers y descargable para herramientas como ComfyUI, AUTOMATIC1111, SD.Next e Invoke AI.
No está desplegado actualmente en ningún proveedor de inferencia.

Casos de uso

Generar vídeos protagonizados por el concepto visual asociado a «VNKC woman».
Aplicar el estilo o personaje aprendido por el LoRA al modelo Wan 2.1 T2V.
Experimentar localmente con el adaptador mediante Diffusers o interfaces compatibles con LoRA.
Generar imágenes con el archivo de pesos Safetensors usando el flujo alternativo mostrado en la página.