kairos-agi/kairos-sensenova-robot-4B-480P-distilled

kairos-agi

Texto a video

Modelo Kairos 3.0 destilado de 4B parámetros para generación de video y modelado del mundo orientado a robótica. Está especializado en manipulación robótica, control cerrado en entornos reales e inferencia en dispositivos edge, usando una arquitectura multimodal con atención lineal híbrida para reducir coste de memoria y cómputo y permitir inferencia de baja latencia.

Como usar

Instalación y descarga básica:
# Clone the repository
git clone https://github.com/kairos-agi/kairos-sensenova.git
cd kairos-sensenova

# Docker image
echo ghp_xxxxxxxxxxxxxxxxx | docker login ghcr.io -u username --password-stdin
docker pull ghcr.io/kairos-agi/kairos-sensenova:v0.0.1

docker run --rm -it \
  --gpus all \
  -v $(pwd):/workspace \
  ghcr.io/kairos-agi/kairos-sensenova:v0.0.1 \
  bash

# Or install requirements with python>=3.10, torch>=2.6 and cuda>=12.6
pip install -r requirements.txt

Descarga desde Hugging Face o ModelScope:
pip install -U huggingface_hub

hf download kairos-agi/kairos-sensenova-robot-4B-480P-distilled \
  --local-dir models/kairos-model/kairos-sensenova-robot-4B-480P-distilled

pip install modelscope

modelscope download kairos-team/kairos-sensenova-robot-4B-480P-distilled \
  --local_dir models/kairos-model/kairos-sensenova-robot-4B-480P-distilled

Inferencia:
mkdir -p models/Qwen models/Wan2.1-T2V-14B

hf download Qwen/Qwen2.5-VL-7B-Instruct-AWQ \
  --local-dir models/Qwen/Qwen2.5-VL-7B-Instruct-AWQ

hf download Wan-AI/Wan2.1-T2V-14B \
  --local-dir models/Wan2.1-T2V-14B \
  --include "Wan2.1_VAE.pth"

# Text2Video
bash examples/inference.sh examples/example_t2v.json

# Text&FirstImage2Video
bash examples/inference.sh examples/example_ti2v.json

# FirstImage2Video
bash examples/inference.sh examples/example_i2v.json

Funcionalidades

Generación de video a 480p a partir de texto, imagen inicial o texto más imagen inicial.
Modelo destilado y ligero para integración en robots, edge computing y escenarios de bajo consumo.
Arquitectura de 4B parámetros basada en leyes físicas y razonamiento causal para modelado del mundo.
Atención lineal híbrida con complejidad temporal O(n), diseñada para secuencias largas con menor uso de VRAM.
Especialización en IA incorporada para predicción de acciones, planificación y análisis de viabilidad física.
Generalización entre plataformas robóticas como brazo simple, doble brazo y manos diestras.
Compatible con flujos que usan Qwen2.5-VL como codificador de texto y Wan2.1 VAE como codificador/decodificador visual.
Licencia Apache 2.0, apta para uso, modificación y productos comerciales.

Casos de uso

Integración en robots con inferencia en tiempo real y recursos limitados.
Manipulación robótica y control cerrado en el mundo real.
Generación de video 480p para escenas físicas o tareas de robótica.
Predicción de acciones y planificación basada en causalidad física.
Despliegue edge o embebido con baja memoria y baja latencia.
Generalización cero-shot o multitarea entre diferentes plataformas robóticas.