VidToMe

Instala las dependencias y carga el pipeline personalizado con Diffusers. Define una descripción del vídeo original y uno o varios prompts de edición antes de procesar el archivo.

pip install -U diffusers transformers accelerate

from diffusers import DiffusionPipeline

# Cargar el modelo preentrenado
pipeline = DiffusionPipeline.from_pretrained(
    "jadechoghari/VidToMe",
    trust_remote_code=True,
    custom_pipeline="jadechoghari/VidToMe",
    sd_version="depth",
    device="cuda",
    float_precision="fp16"
)

# Definir los prompts de inversión y generación
inversion_prompt = "flamingos standing in the water near a tree."
generation_prompt = {
    "origami": "rainbow-colored origami flamingos standing in the water near a tree."
}

# Configurar controles y parámetros adicionales
control_type = "none"  # Usar "depth" si se necesita control por profundidad
negative_prompt = ""

# Ejecutar el pipeline de edición de vídeo
generated_images = pipeline(
    video_path="path/to/video.mp4",
    video_prompt=inversion_prompt,
    edit_prompt=generation_prompt,
    control_type=control_type
)