alibaba-pai/Wan2.1-Fun-V1.1-14B-Control-Camera
Modelo de generación de video Wan2.1-Fun V1.1 de 14B especializado en control de cámara. Permite generar videos con movimientos de cámara dirigidos, como paneo hacia arriba, abajo, izquierda, derecha y combinaciones, usando pesos Safetensors bajo licencia Apache 2.0. Está entrenado para predicción de video multirresolución en 512, 768 y 1024 píxeles, con secuencias de 81 fotogramas a 16 fps y soporte multilingüe.
Como usar
El modelo se usa desde el repositorio VideoX-Fun o mediante ComfyUI. La página no incluye un snippet específico de Hugging Face para esta librería, pero sí muestra comandos de arranque con Docker y preparación del repositorio:
# pull image
docker pull mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun
# enter image
docker run -it -p 7860:7860 --network host --gpus all --security-opt seccomp:unconfined --shm-size 200g mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun
# clone code
git clone https://github.com/aigc-apps/VideoX-Fun.git
# enter VideoX-Fun's dir
cd VideoX-Fun
# download weights
mkdir models/Diffusion_Transformer
mkdir models/Personalized_Model
Para uso local, descarga los pesos correspondientes y colócalos en la carpeta de modelos de VideoX-Fun o en ComfyUI/models/Fun_Models/. La documentación recomienda seleccionar modos de ahorro de VRAM como model_cpu_offload, model_cpu_offload_and_qfloat8 o sequential_cpu_offload según la memoria disponible. Si hay suficiente VRAM, se recomienda model_cpu_offload; qfloat8 ahorra más memoria pero puede reducir algo la calidad.
Funcionalidades
- Generación de video con control explícito de cámara.
- Soporte para movimientos de cámara como pan up, pan down, pan left, pan right y combinaciones diagonales.
- Modelo Wan2.1-Fun V1.1 de 14B parámetros orientado a video.
- Predicción de video en múltiples resoluciones: 512, 768 y 1024.
- Entrenamiento con videos de 81 fotogramas a 16 fps.
- Compatibilidad con flujos de trabajo de VideoX-Fun y ComfyUI.
- Distribución en formato Safetensors.
- Licencia Apache 2.0.
Casos de uso
- Generar videos con movimientos de cámara controlados a partir de prompts o flujos de VideoX-Fun.
- Crear clips con paneos verticales, horizontales o diagonales para escenas cinematográficas generadas por IA.
- Prototipar workflows de video generativo en ComfyUI con control de cámara.
- Producción experimental de video multirresolución usando modelos Wan2.1-Fun.
- Investigación y pruebas de control de cámara en modelos de texto a video o imagen/video a video.