Kairos Sensenova 4B 480P Pretrained

kairos-agi

Texto a video

Modelo de mundo preentrenado de 4.000 millones de parámetros para generar vídeo a 480p y servir como base de ajuste fino. Kairos 3.0 integra comprensión multimodal, generación y predicción de acciones, con atención lineal híbrida diseñada para reducir el coste temporal y facilitar la inferencia de baja latencia en robótica y sistemas físicos.

Como usar

Instala el entorno y descarga el modelo:
git clone https://github.com/kairos-agi/kairos-sensenova.git
cd kairos-sensenova
pip install -r requirements.txt
pip install -U huggingface_hub
hf download kairos-agi/kairos-sensenova-4B-480P-pretrained \
  --local-dir models/Kairos-model/kairos-sensenova-4B-480P-pretrained

Descarga también el codificador de texto y el VAE necesarios:
mkdir -p models/Qwen models/Wan2.1-T2V-14B
hf download Qwen/Qwen2.5-VL-7B-Instruct-AWQ \
  --local-dir models/Qwen/Qwen2.5-VL-7B-Instruct-AWQ
hf download Wan-AI/Wan2.1-T2V-14B \
  --local-dir models/Wan2.1-T2V-14B \
  --include "Wan2.1_VAE.pth"

Ejecuta el modo de inferencia deseado:
# Texto a vídeo
bash examples/inference.sh examples/example_t2v.json

# Texto e imagen inicial a vídeo
bash examples/inference.sh examples/example_ti2v.json

# Imagen inicial a vídeo
bash examples/inference.sh examples/example_i2v.json

Funcionalidades

Generación de vídeo a 480p a partir de texto, una imagen inicial o texto combinado con una imagen inicial.
Arquitectura unificada de 4.000 millones de parámetros para comprensión multimodal, generación visual y predicción de acciones.
Operador híbrido de atención lineal que reduce la complejidad temporal de O(n²) a O(n).
Modelado basado en relaciones físicas y causales para planificación, análisis de viabilidad y razonamiento sobre secuencias largas.
Generalización entre plataformas robóticas de un brazo, doble brazo y manos diestras.
Modelo general preentrenado preparado para ajuste fino en tareas posteriores.
Licencia Apache 2.0, compatible con modificación y uso comercial.

Casos de uso

Generación de vídeo a 480p a partir de instrucciones textuales.
Animación de una imagen inicial mediante generación de vídeo condicionada.
Generación de vídeo condicionada conjuntamente por texto e imagen.
Ajuste fino para tareas de modelado del mundo y razonamiento físico.
Investigación de planificación y predicción de acciones para inteligencia incorporada.
Creación de modelos especializados para manipulación robótica y control de bucle cerrado.