my_first_lora_v1-lora

bigdoinks420518

Texto a video

Adaptador LoRA entrenado con AI Toolkit sobre Wan2.2-T2V-A14B. Se activa mediante la palabra clave «aviv4» y ofrece pesos en formato Safetensors para generar contenido visual con Diffusers y herramientas compatibles.

Como usar

Instalación:
pip install -U diffusers transformers accelerate

Generación de vídeo con Diffusers:
import torch
from diffusers import DiffusionPipeline
from diffusers.utils import export_to_video

# Cambia a "mps" para dispositivos Apple
pipe = DiffusionPipeline.from_pretrained(
    "ai-toolkit/Wan2.2-T2V-A14B-Diffusers-bf16",
    torch_dtype=torch.bfloat16,
    device_map="cuda"
)
pipe.load_lora_weights("bigdoinks420518/my_first_lora_v1-lora")

prompt = "aviv4"
output = pipe(prompt=prompt).frames[0]
export_to_video(output, "output.mp4")

La ficha también proporciona este ejemplo para cargar el archivo de bajo ruido y generar una imagen:
from diffusers import AutoPipelineForText2Image
import torch

pipeline = AutoPipelineForText2Image.from_pretrained(
    'ai-toolkit/Wan2.2-T2V-A14B-Diffusers-bf16',
    torch_dtype=torch.bfloat16
).to('cuda')

pipeline.load_lora_weights(
    'bigdoinks420518/my_first_lora_v1-lora',
    weight_name='my_first_lora_v1_low_noise.safetensors'
)

image = pipeline('aviv4').images[0]
image.save("my_image.png")

Funcionalidades

Adaptador LoRA basado en ai-toolkit/Wan2.2-T2V-A14B-Diffusers-bf16.
Palabra de activación específica: «aviv4».
Pesos disponibles en formato Safetensors.
Compatible con Diffusers y aplicaciones que admiten LoRA, como ComfyUI, AUTOMATIC1111, SD.Next e Invoke AI.
La página lo clasifica como un modelo de texto a vídeo, aunque también incluye un ejemplo para generar una imagen fija.

Casos de uso

Generación de vídeo condicionada por texto utilizando «aviv4» como palabra de activación.
Generación de imágenes fijas con el peso LoRA de bajo ruido indicado en la ficha.
Integración del estilo o concepto aprendido por el LoRA en flujos locales de Diffusers.
Uso de los pesos Safetensors en interfaces compatibles como ComfyUI, AUTOMATIC1111, SD.Next e Invoke AI.