Kairos 3.0 Robot 4B 480P

kairos-agi

Texto a video

Modelo de mundo multimodal de 4.000 millones de parámetros especializado en manipulación robótica y control de bucle cerrado. Integra comprensión, generación de vídeo y predicción de acciones, con atención lineal híbrida para reducir el consumo de memoria y permitir inferencia de baja latencia en sistemas robóticos y dispositivos perimetrales.

Como usar

Requiere Python 3.10 o posterior, PyTorch 2.6 o posterior y CUDA 12.6 o posterior.
# Clonar el repositorio
git clone https://github.com/kairos-agi/kairos-sensenova.git
cd kairos-sensenova
pip install -r requirements.txt

# Descargar el modelo desde Hugging Face
pip install -U huggingface_hub
hf download kairos-agi/kairos-sensenova-robot-4B-480P \
  --local-dir models/kairos-model/kairos-sensenova-robot-4B-480P

# Descargar los componentes auxiliares
mkdir -p models/Qwen models/Wan2.1-T2V-14B
hf download Qwen/Qwen2.5-VL-7B-Instruct-AWQ \
  --local-dir models/Qwen/Qwen2.5-VL-7B-Instruct-AWQ
hf download Wan-AI/Wan2.1-T2V-14B \
  --local-dir models/Wan2.1-T2V-14B \
  --include "Wan2.1_VAE.pth"

# Ejecutar inferencia
bash examples/inference.sh examples/example_t2v.json
bash examples/inference.sh examples/example_ti2v.json
bash examples/inference.sh examples/example_i2v.json

Funcionalidades

Generación de vídeo a 480p condicionada por texto, una imagen inicial o ambos.
Arquitectura multimodal unificada para comprender entornos, generar estados futuros y predecir acciones.
Atención lineal híbrida con complejidad temporal O(n), diseñada para secuencias largas con menor coste computacional.
Razonamiento físico y causal mediante datos de cadena de pensamiento.
Generalización entre robots de un brazo, dos brazos y manos diestras.
Compatibilidad indicada con Agibot G1, Unitree G1 y Songling PIPER.
Puntuación de 80,03 en el subconjunto robótico de PAI-Bench.
Licencia Apache 2.0, apta para modificación y uso comercial.

Casos de uso

Manipulación robótica y control de bucle cerrado en entornos reales.
Predicción de acciones y planificación de tareas físicas.
Generación de vídeo robótico a 480p para simulación o entrenamiento posterior.
Despliegue en robots, sistemas con varias GPU y dispositivos perimetrales.
Transferencia de conocimiento entre distintas configuraciones de robots.
Análisis de viabilidad física y causal antes de ejecutar una acción.