ARACHNE-X-ULTRA-AVATAR

MagistrTheOne

Texto a video

Sistema multimodal de generación de humanos digitales en tiempo real. Genera y prolonga vídeos de avatares condicionados por audio, texto e imágenes, con sincronización labial, conservación de identidad y estabilidad temporal para escenarios largos. Está orientado a empleados de IA, comunicaciones empresariales e interfaces interactivas.

Como usar

Instalación
git clone https://github.com/nullxes/arachne-x-ultra-avatar
cd arachne-x-ultra-avatar
conda create -n arachne python=3.10
conda activate arachne
pip install torch torchvision torchaudio
pip install flash-attn
pip install -r requirements.txt

Descarga del modelo
pip install "huggingface_hub[cli]"
huggingface-cli download nullxes/ARACHNE-X-ULTRA-AVATAR --local-dir ./weights/ARACHNE-X

Avatar individual
torchrun --nproc_per_node=2 run_avatar_single.py \
  --checkpoint_dir=./weights/ARACHNE-X \
  --mode=at2v \
  --input_json=examples/single.json

Varios avatares
torchrun --nproc_per_node=2 run_avatar_multi.py \
  --checkpoint_dir=./weights/ARACHNE-X \
  --input_json=examples/multi.json

Continuación de vídeo
torchrun --nproc_per_node=2 run_avatar_single.py \
  --checkpoint_dir=./weights/ARACHNE-X \
  --mode=at2v \
  --num_segments=5 \
  --ref_img_index=10

Se recomienda configurar Audio CFG entre 3 y 5 para mejorar la sincronización labial, incluir términos como speaking o talking en el prompt y ajustar ref_img_index entre 0 y 24 junto con mask_frame_range para reducir repeticiones. La ficha también muestra un ejemplo genérico con Diffusers, aunque los scripts específicos anteriores representan mejor el uso previsto de este modelo.

Funcionalidades

Generación de audio a vídeo y de audio más imagen a vídeo.
Continuación de vídeo mediante generación por streaming.
Sincronización labial precisa y generación sensible a la prosodia.
Conservación de la identidad y control de expresiones faciales.
Estabilidad en secuencias largas mediante memoria temporal y unión de latentes entre segmentos.
Separación del habla y el movimiento para producir dinámicas corporales naturales.
Compatibilidad con uno o varios personajes y con audio combinado o secuencial.
Canal de control sensible a las emociones.
Resoluciones de 480p y 720p.
Arquitectura Diffusion Transformer con codificadores Wav2Vec2 y UMT5, VAE por streaming y compatibilidad con FlashAttention.

Casos de uso

Avatares conversacionales controlados por voz en tiempo real.
Empleados digitales para atención, formación o comunicaciones empresariales.
Presentadores virtuales con identidad visual coherente.
Interfaces interactivas con humanos digitales sensibles a la emoción.
Escenas largas de avatares generadas o continuadas por segmentos.
Conversaciones audiovisuales con uno o varios personajes.