TTfire/anifun-lora

TTfire

Texto a video

Adaptador LoRA para el modelo base Wan2.2-T2V-A14B, entrenado con AI Toolkit de Ostris. Se activa mediante el término «my_first_lora_v7» y está orientado a generar contenido visual con el estilo aprendido por el adaptador.

Como usar

Instala las dependencias:
pip install -U diffusers transformers accelerate

Generación de vídeo con Diffusers:
import torch
from diffusers import DiffusionPipeline
from diffusers.utils import export_to_video

# Cambia a "mps" para dispositivos Apple
pipe = DiffusionPipeline.from_pretrained(
    "ai-toolkit/Wan2.2-T2V-A14B-Diffusers-bf16",
    dtype=torch.bfloat16,
    device_map="cuda"
)
pipe.load_lora_weights("TTfire/anifun-lora")

prompt = "my_first_lora_v7"
output = pipe(prompt=prompt).frames[0]
export_to_video(output, "output.mp4")

Ejemplo alternativo proporcionado para generar una imagen con el archivo Safetensors específico:
from diffusers import AutoPipelineForText2Image
import torch

pipeline = AutoPipelineForText2Image.from_pretrained(
    'ai-toolkit/Wan2.2-T2V-A14B-Diffusers-bf16',
    torch_dtype=torch.bfloat16
).to('cuda')
pipeline.load_lora_weights(
    'TTfire/anifun-lora',
    weight_name='anifun_low_noise.safetensors'
)
image = pipeline('my_first_lora_v7').images[0]
image.save("my_image.png")

Funcionalidades

Adaptador LoRA basado en ai-toolkit/Wan2.2-T2V-A14B-Diffusers-bf16.
Compatible con la biblioteca Diffusers.
Pesos disponibles en formato Safetensors.
Incluye el archivo de pesos anifun_low_noise.safetensors.
Puede integrarse en ComfyUI, AUTOMATIC1111, SD.Next, Invoke AI y otras aplicaciones compatibles con LoRA.
La página lo clasifica para generación de texto a vídeo, aunque también proporciona un ejemplo de generación de imágenes.

Casos de uso

Generación de vídeos condicionados por texto con el estilo aprendido por el LoRA.
Creación de imágenes usando el término activador «my_first_lora_v7».
Integración del adaptador en flujos visuales locales basados en Diffusers o interfaces compatibles con LoRA.
Experimentación y ajuste de la intensidad, fusión o combinación del LoRA con otros adaptadores.