Text2Video-Zero ControlNet Canny Avatar
Text2Video-Zero es un generador de video a partir de texto sin necesidad de entrenamiento previo. Puede realizar generación de video a partir de texto sin tiros de prueba (zero-shot), edición de video guiada por instrucciones (Video Instruct Pix2Pix), generación de video condicionada por texto y pose, generación de video condicionada por texto y bordes canny, así como generación de video condicionada por texto, bordes canny y dreambooth. Este modelo proporciona pesos de DreamBooth para el estilo Avatar para ser utilizado con guías de borde (usando ControlNet) en Text2Video Zero.
Como usar
Podemos usar este modelo con cualquier modelo base de StableDiffusion. Los pesos originales fueron convertidos para ser utilizables con ControlNet y guía de borde usando: https://github.com/lllyasviel/ControlNet/discussions/12.
Funcionalidades
- Generación de video a partir de texto sin necesidad de entrenamiento previo
- Edición de video guiada por instrucciones
- Generación de video condicionada por texto y pose
- Generación de video condicionada por texto y bordes canny
- Generación de video condicionada por texto, bordes canny y Dreambooth
Casos de uso
- Generación de video a partir de descripciones textuales
- Edición de video basada en instrucciones específicas
- Creación de contenido multimedia con estilo Avatar usando guías de borde
- Aplicaciones de investigación