SANA-Video_2B_480p
Efficient-Large-Model
Texto a video
Modelo de difusión de vídeo de 2.000 millones de parámetros desarrollado por NVIDIA y Sana para generar o modificar vídeos a partir de instrucciones de texto. Utiliza un Transformer de difusión lineal con atención lineal por bloques y caché KV de memoria constante. Esta versión opera en BF16 y está preparada para producir vídeos de 81 fotogramas —unos 5 segundos— a resolución 480p y con dimensiones multiescala.
Como usar
La inferencia se realiza siguiendo la guía oficial de SANA-Video:
https://github.com/NVlabs/Sana/blob/main/asset/docs/sana_video.md#1-inference-with-txt-file
La página no incluye un fragmento de código de inferencia. El modelo está destinado exclusivamente a investigación y su uso está sujeto a la NVIDIA Open Model License Agreement.
Funcionalidades
- Generación de texto a vídeo a 480p.
- Vídeos de 81 fotogramas, equivalentes a aproximadamente 5 segundos.
- Transformer de difusión lineal con atención lineal por bloques.
- Caché KV de memoria constante para conservar el contexto global con un coste de memoria fijo.
- 2.000 millones de parámetros y precisión torch.bfloat16 (BF16).
- Codificador latente DC-AE-V con compresión espacial de 32× y VAE de vídeo Wan con factor 8×.
- Latencia medida hasta 16 veces menor que otros modelos pequeños de difusión comparables, según sus autores.
- Código fuente disponible públicamente en el repositorio de SANA.
Casos de uso
- Generación de obras audiovisuales y apoyo a procesos artísticos o de diseño.
- Creación de herramientas educativas y creativas basadas en texto a vídeo.
- Investigación sobre modelos generativos de vídeo y Transformers de difusión lineal.
- Evaluación de despliegues seguros para modelos capaces de producir contenido potencialmente dañino.
- Estudio de las limitaciones y los sesgos presentes en los modelos generativos.