Suturing-Wan2.1-1.3B-T2V

mehmetkeremturkcan

Texto a video

Modelo de difusión de texto a vídeo ajustado a partir de Wan2.1-T2V-1.3B para generar vídeos realistas de sutura quirúrgica robótica. Representa acciones finas como posicionamiento, orientación, inserción y retirada de la aguja, y distingue entre técnicas quirúrgicas ideales y no ideales.

Como usar

Requiere los pesos del modelo base Wan2.1-T2V-1.3B y la biblioteca diffsynth. El adaptador LoRA se carga desde este repositorio y se aplica con un factor alfa de 1,0.
import torch
from diffsynth import ModelManager, WanVideoPipeline, save_video, VideoData

model_manager = ModelManager(torch_dtype=torch.bfloat16, device="cpu")
model_manager.load_models([
    "../Wan2.1-T2V-1.3B/diffusion_pytorch_model.safetensors",
    "../Wan2.1-T2V-1.3B/models_t5_umt5-xxl-enc-bf16.pth",
    "../Wan2.1-T2V-1.3B/Wan2.1_VAE.pth",
])
model_manager.load_lora(
    "mehmetkeremturkcan/Suturing-Wan2.1-1.3B-T2V",
    lora_alpha=1.0
)

pipe = WanVideoPipeline.from_model_manager(model_manager, device="cuda")
pipe.enable_vram_management(num_persistent_param_in_dit=None)

video = pipe(
    prompt="A needledrivingnonideal clip, generated from a backhand task.",
    num_inference_steps=50,
    tiled=True
)

save_video(video, "video.mp4", fps=30, quality=5)

Funcionalidades

Generación de vídeos de sutura quirúrgica robótica a partir de texto.
Resolución predeterminada de 768 × 512 píxeles, ajustable.
Generación predeterminada de 49 fotogramas por vídeo, ajustable.
Ajuste fino mediante LoRA sobre aproximadamente 2.000 clips anotados de ejercicios de cirugía laparoscópica.
Representación de técnicas quirúrgicas ideales y no ideales.
Pérdida de reconstrucción L2 reportada de 0,0667.
Tiempo de inferencia reportado de aproximadamente 360 segundos por vídeo.

Casos de uso

Crear demostraciones de técnicas de sutura ideales y no ideales para formación quirúrgica.
Evaluar habilidades comparando procedimientos reales con patrones generados por el modelo.
Investigar la orientación en tiempo real y la automatización de procedimientos mediante robots quirúrgicos autónomos.
Simular acciones específicas de sutura, como el posicionamiento, la inserción y la retirada de agujas.