fofdrogon/my_first_lora_v1-lora

fofdrogon

Texto a video

LoRA para generación de texto a video basada en el modelo ai-toolkit/Wan2.2-T2V-A14B-Diffusers-bf16. Fue entrenada con AI Toolkit by Ostris y está pensada para cargarse como adaptador en flujos Diffusers o herramientas locales compatibles con LoRA.

Como usar

Instalación y uso con Diffusers para texto a video:
pip install -U diffusers transformers accelerate

import torch
from diffusers import DiffusionPipeline
from diffusers.utils import export_to_video

# switch to "mps" for apple devices
pipe = DiffusionPipeline.from_pretrained("ai-toolkit/Wan2.2-T2V-A14B-Diffusers-bf16", dtype=torch.bfloat16, device_map="cuda")
pipe.load_lora_weights("fofdrogon/my_first_lora_v1-lora")

prompt = "A man with short gray hair plays a red electric guitar."
output = pipe(prompt=prompt).frames[0]
export_to_video(output, "output.mp4")

Ejemplo alternativo mostrado en la ficha para cargar un archivo Safetensors concreto:
from diffusers import AutoPipelineForText2Image
import torch

pipeline = AutoPipelineForText2Image.from_pretrained('ai-toolkit/Wan2.2-T2V-A14B-Diffusers-bf16', torch_dtype=torch.bfloat16).to('cuda')
pipeline.load_lora_weights('fofdrogon/my_first_lora_v1-lora', weight_name='my_first_lora_v1_low_noise.safetensors')
image = pipeline('a beautiful landscape').images[0]
image.save("my_image.png")

Funcionalidades

Tarea principal: generación de texto a video.
Formato de pesos disponible: Safetensors.
Adaptador LoRA para el modelo base ai-toolkit/Wan2.2-T2V-A14B-Diffusers-bf16.
Compatible con Diffusers y con apps locales como ComfyUI, AUTOMATIC1111, SD.Next, Invoke AI y Draw Things.
No define palabras de activación específicas.
Licencia: creativeml-openrail-m.

Casos de uso

Generar clips de video a partir de prompts de texto usando Wan2.2-T2V como modelo base.
Probar un adaptador LoRA personalizado entrenado con AI Toolkit.
Integrar pesos LoRA en flujos locales de generación con Diffusers, ComfyUI u otras interfaces compatibles.
Experimentar con prompts visuales, por ejemplo una persona tocando una guitarra eléctrica roja.