PAIR/text2video-zero-controlnet-canny-gta5
PAIR
Texto a video
Text2Video-Zero es un generador de texto a video de cero disparos. Puede realizar generación de texto a video de cero disparos, edición de video guiada por instrucciones (Video Instruct Pix2Pix), generación de video condicional con texto y pose, generación de video condicional con texto y borde canny, y generación de video condicional con texto, borde canny y dreambooth. Proporciona pesos DreamBooth para el estilo GTA-5 a ser utilizados con la guía de bordes (usando ControlNet) en text2video zero.
Como usar
Nuestro código funciona con cualquier modelo base de StableDiffusion. Aquí están los pesos originales convertidos en diffusers y hechos utilizables para ControlNet con guía de bordes usando: https://github.com/lllyasviel/ControlNet/discussions/12.
Funcionalidades
- Generación de video de cero disparos
- Edición de video guiada por instrucciones
- Generación de video condicional con texto y pose
- Generación de video condicional con texto y borde canny
- Generación de video condicional con texto, borde canny y dreambooth
- Compatibilidad con cualquier modelo base StableDiffusion
Casos de uso
- Generar videos a partir de descripciones de texto
- Editar videos basados en instrucciones
- Crear videos condicionales usando texto y poses
- Crear videos condicionales usando texto y borde canny
- Generar videos con el estilo de GTA-5 usando descripción de texto y guía de bordes