Hundsfutz/alon-v1-lora

Hundsfutz

Texto a video

Adaptador LoRA basado en Wan2.2-T2V-A14B, entrenado con AI Toolkit de Ostris para generar contenido visual asociado al concepto o personaje «Alon». Usa la palabra de activación «Alon» y distribuye sus pesos en formato Safetensors bajo la licencia CreativeML Open RAIL-M.

Como usar

Instala las dependencias:
pip install -U diffusers transformers accelerate

Ejemplo de generación de vídeo con Diffusers:
import torch
from diffusers import DiffusionPipeline
from diffusers.utils import export_to_video

# Cambia a "mps" para dispositivos Apple
pipe = DiffusionPipeline.from_pretrained(
    "ai-toolkit/Wan2.2-T2V-A14B-Diffusers-bf16",
    dtype=torch.bfloat16,
    device_map="cuda"
)
pipe.load_lora_weights("Hundsfutz/alon-v1-lora")

prompt = "Alon"
output = pipe(prompt=prompt).frames[0]
export_to_video(output, "output.mp4")

La ficha también proporciona este ejemplo para cargar un archivo de pesos específico y generar una imagen:
from diffusers import AutoPipelineForText2Image
import torch

pipeline = AutoPipelineForText2Image.from_pretrained(
    'ai-toolkit/Wan2.2-T2V-A14B-Diffusers-bf16',
    torch_dtype=torch.bfloat16
).to('cuda')
pipeline.load_lora_weights(
    'Hundsfutz/alon-v1-lora',
    weight_name='alon-v1_low_noise.safetensors'
)
image = pipeline('Alon').images[0]
image.save("my_image.png")

Funcionalidades

Adaptador LoRA para el modelo base Wan2.2-T2V-A14B-Diffusers-bf16.
Compatible con la biblioteca Diffusers.
Orientado principalmente a generación de texto a vídeo, aunque la ficha también incluye un ejemplo de generación de imagen.
Palabra de activación: «Alon».
Pesos disponibles en formato Safetensors.
Compatible con flujos locales como ComfyUI, AUTOMATIC1111, SD.Next, Invoke AI y Draw Things.
No está desplegado actualmente mediante proveedores de inferencia.

Casos de uso

Generar vídeos a partir de indicaciones que incluyan la palabra de activación «Alon».
Incorporar el concepto visual aprendido de «Alon» en flujos de generación basados en Wan2.2.
Experimentar localmente con los pesos LoRA mediante Diffusers o interfaces compatibles.
Generar imágenes de «Alon» usando el archivo de pesos de bajo ruido indicado en la ficha.