jasbloom/Wan2.2-T2V-A14B-Diffusers-bf16-mmxxii-rank256-lora
jasbloom
Texto a video
LoRA para el modelo base Wan2.2-T2V-A14B-Diffusers-bf16, orientado a generación texto-a-video con Diffusers. El adaptador se activa con la palabra clave `mmxxii`, está entrenado con AI Toolkit de Ostris y publica pesos en formato Safetensors.
Como usar
Instalación y uso texto-a-video con Diffusers:
pip install -U diffusers transformers accelerate
import torch
from diffusers import DiffusionPipeline
from diffusers.utils import export_to_video
# switch to "mps" for apple devices
pipe = DiffusionPipeline.from_pretrained("ai-toolkit/Wan2.2-T2V-A14B-Diffusers-bf16", dtype=torch.bfloat16, device_map="cuda")
pipe.load_lora_weights("jasbloom/Wan2.2-T2V-A14B-Diffusers-bf16-mmxxii-rank256-lora")
prompt = "mmxxii"
output = pipe(prompt=prompt).frames[0]
export_to_video(output, "output.mp4")
Ejemplo adicional indicado en la ficha para cargar un peso Safetensors concreto:
from diffusers import AutoPipelineForText2Image
import torch
pipeline = AutoPipelineForText2Image.from_pretrained('ai-toolkit/Wan2.2-T2V-A14B-Diffusers-bf16', torch_dtype=torch.bfloat16).to('cuda')
pipeline.load_lora_weights('jasbloom/Wan2.2-T2V-A14B-Diffusers-bf16-mmxxii-rank256-lora', weight_name='Wan2.2-T2V-A14B-Diffusers-bf16-mmxxii-rank256_low_noise.safetensors')
image = pipeline('mmxxii').images[0]
image.save("my_image.png")
Funcionalidades
- Adaptador LoRA rank256 para Wan2.2-T2V-A14B-Diffusers-bf16.
- Tarea principal: generación de video a partir de texto.
- Compatible con la biblioteca Diffusers.
- Palabra disparadora requerida: `mmxxii`.
- Pesos disponibles en formato Safetensors.
- Puede descargarse para flujos locales como ComfyUI, AUTOMATIC1111, SD.Next e Invoke AI.
- No está desplegado actualmente en proveedores de inferencia de Hugging Face.
Casos de uso
- Generar clips de video desde prompts de texto usando Wan2.2-T2V con el estilo o concepto asociado a `mmxxii`.
- Probar o integrar un adaptador LoRA de Wan2.2 en flujos locales basados en Diffusers.
- Descargar pesos Safetensors para experimentación en interfaces locales compatibles con LoRA como ComfyUI, AUTOMATIC1111, SD.Next o Invoke AI.