BarleyFarmer/natalie_wan_2.2-lora

BarleyFarmer
Texto a video

Adaptador LoRA entrenado con AI Toolkit para generar contenido visual mediante el modelo base Wan2.2-T2V-A14B. Utiliza la palabra de activación «natalie» y distribuye sus pesos en formato Safetensors.

Como usar

Instala las dependencias necesarias:

pip install -U diffusers transformers accelerate

Ejemplo para generar un vídeo con Diffusers:

import torch
from diffusers import DiffusionPipeline
from diffusers.utils import export_to_video

# Cambia a "mps" para dispositivos Apple
pipe = DiffusionPipeline.from_pretrained(
    "ai-toolkit/Wan2.2-T2V-A14B-Diffusers-bf16",
    torch_dtype=torch.bfloat16,
    device_map="cuda"
)
pipe.load_lora_weights("BarleyFarmer/natalie_wan_2.2-lora")

prompt = "natalie"
output = pipe(prompt=prompt).frames[0]
export_to_video(output, "output.mp4")

Ejemplo alternativo para cargar el archivo de pesos específico y generar una imagen:

from diffusers import AutoPipelineForText2Image
import torch

pipeline = AutoPipelineForText2Image.from_pretrained(
    'ai-toolkit/Wan2.2-T2V-A14B-Diffusers-bf16',
    torch_dtype=torch.bfloat16
).to('cuda')
pipeline.load_lora_weights(
    'BarleyFarmer/natalie_wan_2.2-lora',
    weight_name='natalie_wan_2.2_low_noise.safetensors'
)
image = pipeline('natalie').images[0]
image.save("my_image.png")

Funcionalidades

Adaptador LoRA compatible con el modelo base ai-toolkit/Wan2.2-T2V-A14B-Diffusers-bf16.
Orientado principalmente a la generación de texto a vídeo.
Incluye la palabra de activación «natalie».
Compatible con Diffusers, ComfyUI, AUTOMATIC1111, SD.Next e Invoke AI.
Pesos disponibles en formato Safetensors.
Licencia CreativeML Open RAIL-M.

Casos de uso

Generación de vídeos condicionados por texto con el modelo base Wan2.2.
Incorporación del concepto aprendido por el LoRA mediante la palabra de activación «natalie».
Integración del adaptador en flujos locales basados en Diffusers o interfaces compatibles con LoRA.
Experimentación con generación de imágenes usando el archivo de pesos de bajo ruido indicado.