LiseTY/my_first_lora_v9-lora

LiseTY

Texto a video

LoRA para generación de texto a video basada en Wan2.2-T2V-A14B-Diffusers-bf16. Está entrenada con AI Toolkit de Ostris y se distribuye como adaptador Diffusers en formato Safetensors bajo licencia CreativeML OpenRAIL-M.

Como usar

Instalación y uso con Diffusers:
pip install -U diffusers transformers accelerate

import torch
from diffusers import DiffusionPipeline
from diffusers.utils import export_to_video

# switch to "mps" for apple devices
pipe = DiffusionPipeline.from_pretrained("ai-toolkit/Wan2.2-T2V-A14B-Diffusers-bf16", dtype=torch.bfloat16, device_map="cuda")
pipe.load_lora_weights("LiseTY/my_first_lora_v9-lora")

prompt = "A man with short gray hair plays a red electric guitar."
output = pipe(prompt=prompt).frames[0]
export_to_video(output, "output.mp4")

Ejemplo adicional de carga del LoRA especificando un archivo Safetensors:
from diffusers import AutoPipelineForText2Image
import torch

pipeline = AutoPipelineForText2Image.from_pretrained('ai-toolkit/Wan2.2-T2V-A14B-Diffusers-bf16', torch_dtype=torch.bfloat16).to('cuda')
pipeline.load_lora_weights('LiseTY/my_first_lora_v9-lora', weight_name='my_first_lora_v9_high_noise.safetensors')
image = pipeline('a beautiful landscape').images[0]
image.save("my_image.png")

Funcionalidades

Modelo LoRA para tareas de texto a video con Diffusers.
Adaptador del modelo base ai-toolkit/Wan2.2-T2V-A14B-Diffusers-bf16.
Pesos disponibles en formato Safetensors.
Compatible con flujos locales como ComfyUI, AUTOMATIC1111, SD.Next, Invoke AI y Draw Things.
No define palabras de activación específicas.
No está desplegado actualmente en proveedores de inferencia de Hugging Face.

Casos de uso

Generar clips de video a partir de descripciones de texto usando un LoRA sobre Wan2.2-T2V.
Experimentar con adaptadores LoRA en pipelines locales de Diffusers.
Integrar los pesos Safetensors en herramientas de generación visual como ComfyUI, AUTOMATIC1111, SD.Next o Invoke AI.