HunyuanVideo
Modelo fundacional de código abierto de Tencent para generar vídeos a partir de texto. Cuenta con más de 13.000 millones de parámetros y combina un Transformer de atención completa, un codificador de texto MLLM y un VAE 3D causal. Está diseñado para producir vídeos con alta calidad visual, movimiento diverso, buena correspondencia entre texto y vídeo y generación estable.
Como usar
Requiere Linux, una GPU NVIDIA con CUDA y aproximadamente 45 GB de memoria para 960 × 544 píxeles o 60 GB para 1280 × 720 píxeles. Se recomienda una GPU de 80 GB.
Instalación básica:
git clone https://github.com/tencent/HunyuanVideo
cd HunyuanVideo
conda create -n HunyuanVideo python==3.10.9
conda activate HunyuanVideo
conda install pytorch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 pytorch-cuda=12.4 -c pytorch -c nvidia
python -m pip install -r requirements.txt
python -m pip install ninja
python -m pip install git+https://github.com/Dao-AILab/[email protected]
Generación de un vídeo en una sola GPU:
python3 sample_video.py \
--video-size 720 1280 \
--video-length 129 \
--infer-steps 50 \
--prompt "A cat walks on the grass, realistic style." \
--flow-reverse \
--use-cpu-offload \
--save-path ./results
Servidor web con Gradio:
python3 gradio_server.py --flow-reverse
Inferencia paralela con ocho GPU:
torchrun --nproc_per_node=8 sample_video.py \
--video-size 1280 720 \
--video-length 129 \
--infer-steps 50 \
--prompt "A cat walks on the grass, realistic style." \
--flow-reverse \
--seed 42 \
--ulysses-degree 8 \
--ring-degree 1 \
--save-path ./results
Los pesos FP8 permiten reducir el consumo de memoria de la GPU en unos 10 GB mediante las opciones --dit-weight, --use-fp8 y --use-cpu-offload.
Funcionalidades
- Generación de vídeo a partir de descripciones de texto.
- Arquitectura unificada para generación de imágenes y vídeos con diseño híbrido de flujo dual y flujo único.
- Codificador de texto basado en un modelo multimodal de lenguaje grande, capaz de interpretar detalles e instrucciones complejas.
- VAE 3D causal que comprime temporalmente por 4, espacialmente por 8 y por canales por 16.
- Reescritura de prompts en modos Normal y Master para mejorar la interpretación, composición, iluminación y movimiento de cámara.
- Generación de 129 fotogramas en resoluciones de hasta 1280 × 720 píxeles.
- Inferencia en una GPU, inferencia paralela multi-GPU mediante xDiT y pesos cuantificados FP8.
- Integración con Diffusers, interfaz web mediante Gradio y soporte comunitario en ComfyUI.
- Licencia Tencent Hunyuan Community.
Casos de uso
- Creación de clips cinematográficos a partir de descripciones textuales.
- Prototipado de escenas, conceptos visuales y movimientos de cámara.
- Generación de contenido audiovisual para publicidad, redes sociales y entretenimiento.
- Investigación sobre modelos generativos de vídeo, Transformers de difusión e inferencia paralela.
- Producción de conjuntos de vídeos sintéticos para experimentación y evaluación.
- Despliegue local de una interfaz de generación de vídeo mediante Gradio.