BarleyFarmer/josielynn_wan2.2-lora

BarleyFarmer
Texto a video

Adaptador LoRA para Wan 2.2 orientado a generar contenido visual asociado al concepto o personaje «josielynn». Está basado en ai-toolkit/Wan2.2-T2V-A14B-Diffusers-bf16, fue entrenado con AI Toolkit de Ostris y distribuye sus pesos en formato Safetensors bajo la licencia CreativeML Open RAIL-M.

Como usar

Instala las dependencias necesarias:

pip install -U diffusers transformers accelerate

Para generar un vídeo con Diffusers:

import torch
from diffusers import DiffusionPipeline
from diffusers.utils import export_to_video

# Cambia a "mps" en dispositivos Apple
pipe = DiffusionPipeline.from_pretrained(
    "ai-toolkit/Wan2.2-T2V-A14B-Diffusers-bf16",
    torch_dtype=torch.bfloat16,
    device_map="cuda"
)
pipe.load_lora_weights("BarleyFarmer/josielynn_wan2.2-lora")

prompt = "josielynn"
output = pipe(prompt=prompt).frames[0]
export_to_video(output, "output.mp4")

La página también proporciona este ejemplo para cargar un archivo de pesos concreto y generar una imagen:

from diffusers import AutoPipelineForText2Image
import torch

pipeline = AutoPipelineForText2Image.from_pretrained(
    'ai-toolkit/Wan2.2-T2V-A14B-Diffusers-bf16',
    torch_dtype=torch.bfloat16
).to('cuda')

pipeline.load_lora_weights(
    'BarleyFarmer/josielynn_wan2.2-lora',
    weight_name='josielynn_wan2.2_low_noise.safetensors'
)

image = pipeline('josielynn').images[0]
image.save("my_image.png")

Usa «josielynn» en el prompt para activar el concepto aprendido por el LoRA.

Funcionalidades

Generación de texto a vídeo mediante Wan 2.2 y Diffusers.
Palabra de activación específica: «josielynn».
Adaptador LoRA compatible con el modelo base Wan2.2-T2V-A14B-Diffusers-bf16.
Pesos disponibles en formato Safetensors.
Puede descargarse para herramientas locales como ComfyUI, AUTOMATIC1111, SD.Next e Invoke AI.
No está desplegado actualmente por ningún proveedor de inferencia de Hugging Face.

Casos de uso

Crear vídeos condicionados por texto que representen el concepto «josielynn».
Generar imágenes de «josielynn» cargando los pesos LoRA específicos.
Integrar el adaptador en flujos locales de Diffusers o ComfyUI.
Experimentar con ponderación, fusión y combinación de adaptadores LoRA sobre Wan 2.2.