Wan2.1-Fun-V1.1-14B-InP

alibaba-pai

Texto a video

Modelo de 14.000 millones de parámetros de Alibaba PAI para generar vídeo a partir de texto e imágenes. Fue entrenado con múltiples resoluciones, admite imágenes iniciales y finales para definir los extremos de la secuencia y ocupa aproximadamente 47 GB. Se distribuye en formato Safetensors bajo la licencia Apache 2.0.

Como usar

Puede utilizarse mediante VideoX-Fun, ComfyUI, una interfaz Gradio o Docker. La instalación local requiere descargar los pesos en models/Diffusion_Transformer/Wan2.1-Fun-V1.1-14B-InP. La documentación indica unos 60 GB de espacio libre y entornos probados con Python 3.10/3.11, PyTorch 2.2.0, CUDA 11.8/12.1 y GPU NVIDIA.
# Descargar la imagen
docker pull mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun

# Iniciar el contenedor
docker run -it -p 7860:7860 --network host --gpus all \
  --security-opt seccomp:unconfined --shm-size 200g \
  mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun

# Clonar VideoX-Fun
git clone https://github.com/aigc-apps/VideoX-Fun.git
cd VideoX-Fun

# Crear los directorios para los pesos
mkdir models/Diffusion_Transformer
mkdir models/Personalized_Model

Para reducir el consumo de VRAM se puede seleccionar model_cpu_offload, model_cpu_offload_and_qfloat8 o sequential_cpu_offload. Si hay memoria suficiente, la opción recomendada es model_cpu_offload; la cuantización float8 ahorra más memoria, pero puede reducir parcialmente la calidad.

Funcionalidades

Generación de vídeo a partir de texto.
Generación de vídeo condicionada por una imagen inicial.
Predicción interpolada entre una imagen inicial y una imagen final.
Entrenamiento multirresolución para producir vídeos en distintos tamaños.
Integración con VideoX-Fun, ComfyUI y una interfaz web basada en Gradio.
Modos de ahorro de VRAM mediante descarga del modelo a CPU, cuantización float8 o descarga secuencial por capas.
Pesos en formato Safetensors y licencia Apache 2.0.

Casos de uso

Crear vídeos a partir de descripciones textuales.
Animar una imagen de referencia.
Generar una transición de vídeo entre una imagen inicial y otra final.
Producir clips creativos multirresolución mediante ComfyUI o Gradio.
Integrar generación de vídeo local en flujos basados en VideoX-Fun.