HyDRA (Hybrid Memory for Dynamic Video World Models)
H-EmbodVis
Texto a video
Modelo de mundo de vídeo con una arquitectura de memoria híbrida diseñada para conservar la identidad y la continuidad del movimiento de sujetos dinámicos cuando salen del campo de visión y reaparecen. Comprime el contexto en tokens de memoria y recupera información mediante relevancia espaciotemporal, a la vez que preserva con precisión los fondos estáticos.
Como usar
El modelo recibe prompts de texto, poses de cámara y latentes iniciales de vídeo, y genera secuencias que mantienen la identidad y el movimiento de los sujetos incluso durante intervalos fuera de cámara. Para usar los pesos, consulta el repositorio oficial de GitHub H-EmbodVis/HyDRA.
Funcionalidades
- Generación de texto a vídeo y modelado de mundos en vídeo
- Seguimiento de sujetos dinámicos fuera del campo de visión
- Conservación de la identidad y la continuidad del movimiento
- Memoria híbrida para fondos estáticos y elementos dinámicos
- Compresión del contexto en tokens de memoria
- Recuperación de memoria basada en relevancia espaciotemporal
- Generación de secuencias de vídeo de alta fidelidad
- Implementado con PyTorch y una arquitectura DiT
Casos de uso
- Simulación de entornos dinámicos mediante modelos de mundo
- Generación de vídeos a partir de instrucciones de texto
- Creación de secuencias con movimientos de cámara controlados
- Vídeos donde personajes u objetos salen de plano y reaparecen
- Investigación sobre memoria persistente en modelos generativos de vídeo