Text2Video-Zero ControlNet Canny Arcane
PAIR
Texto a video
Text2Video-Zero es un generador de texto a video sin necesidad de entrenamiento previo. Puede realizar generación de texto a video sin entrenamiento, edición de video guiada por instrucciones (Video Instruct Pix2Pix), generación de video condicional basada en texto y pose, generación de video condicional basada en texto y bordes de Canny, y generación de video condicional basada en texto, bordes de Canny y DreamBooth. Este modelo proporciona pesos de DreamBooth para el estilo Arcano, utilizados con la guía de bordes (usando ControlNet) en text2video zero.
Como usar
Convertimos los pesos originales a difusores y los hicimos utilizables para ControlNet con guía de bordes utilizando: https://github.com/lllyasviel/ControlNet/discussions/12.
Funcionalidades
- Generación de video a partir de texto sin necesidad de entrenamiento previo
- Edición de video guiada por instrucciones (Video Instruct Pix2Pix)
- Generación de video condicional basada en texto y pose
- Generación de video condicional basada en texto y bordes de Canny
- Generación de video condicional basada en texto, bordes de Canny y DreamBooth
- Usa la guía de bordes con ControlNet
- Proporciona pesos de DreamBooth para el estilo Arcano
Casos de uso
- Generación de videos a partir de texto sin previo entrenamiento
- Edición de video con instrucciones específicas
- Creación de videos basados en texto y poses específicas
- Generación de videos con guía de bordes de Canny
- Creación de videos en estilo Arcano utilizando DreamBooth