tareq5055/afsartovideo

tareq5055

Texto a video

Modelo de generación de video a partir de texto basado en Wan2.1, una familia abierta de modelos fundacionales de video. Está orientado a crear clips con movimiento dinámico y alta calidad visual desde prompts, con soporte para texto en inglés y chino dentro de las escenas generadas. La página lo presenta dentro del ecosistema Wan2.1, con variantes T2V de 1.3B y 14B, soporte para 480P y 720P según la variante, integración con Diffusers y licencia Apache 2.0.

Como usar

Instalación y uso básico con Diffusers:
pip install -U diffusers transformers accelerate

import torch
from diffusers import DiffusionPipeline

# switch to "mps" for apple devices
pipe = DiffusionPipeline.from_pretrained("tareq5055/afsartovideo", dtype=torch.bfloat16, device_map="cuda")

prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
image = pipe(prompt).images[0]

Uso con el repositorio Wan2.1:
git clone https://github.com/Wan-Video/Wan2.1.git
cd Wan2.1

# Ensure torch >= 2.4.0
pip install -r requirements.txt

Descarga de pesos desde Hugging Face:
pip install "huggingface_hub[cli]"
huggingface-cli download Wan-AI/Wan2.1-T2V-14B --local-dir ./Wan2.1-T2V-14B

Inferencia texto-a-video en una GPU:
python generate.py --task t2v-14B --size 1280*720 --ckpt_dir ./Wan2.1-T2V-14B --prompt "Two anthropomorphic cats in comfy boxing gear and bright gloves fight intensely on a spotlighted stage."

Ejemplo para reducir uso de memoria en una RTX 4090:
python generate.py --task t2v-1.3B --size 832*480 --ckpt_dir ./Wan2.1-T2V-1.3B --offload_model True --t5_cpu --sample_shift 8 --sample_guide_scale 6 --prompt "Two anthropomorphic cats in comfy boxing gear and bright gloves fight intensely on a spotlighted stage."

Funcionalidades

Generación texto-a-video mediante modelos de difusión/DiT.
Integración con Diffusers y pesos en formato Safetensors.
Soporte multilingüe para prompts y generación visual de texto en inglés y chino.
Variantes Wan2.1 T2V de 1.3B y 14B, con opciones para 480P y 720P según el modelo.
El modelo T2V-1.3B puede ejecutarse en GPUs de consumo; la documentación indica unos 8.19 GB de VRAM para 480P.
Opciones de inferencia en una sola GPU, multi-GPU con FSDP + xDiT USP, descarga por Hugging Face CLI o ModelScope, y ejecución local con Gradio.
Extensión de prompts mediante Dashscope o modelos Qwen locales para enriquecer los detalles del video.

Casos de uso

Crear videos cortos a partir de descripciones textuales.
Prototipar escenas cinematográficas, animaciones o clips promocionales generados por IA.
Generar video en 480P o 720P usando las variantes Wan2.1 adecuadas.
Evaluar flujos locales de generación de video con Diffusers, Gradio o scripts de inferencia Wan2.1.
Probar generación visual de texto en chino e inglés dentro de videos.