kairos-agi/kairos-sensenova-4B-720P

kairos-agi

Texto a video

Kairos Sensenova 4B 720P es un modelo abierto de Kairos 3.0 para generación de video HD, modelado del mundo y razonamiento físico-causal. Usa una arquitectura de 4.000 millones de parámetros con atención lineal híbrida para reducir el coste temporal de O(n²) a O(n), manteniendo capacidades de secuencias largas. Está orientado a generación visual 720P, comprensión multimodal, predicción de acciones y aplicaciones de IA incorporada con baja latencia.

Como usar

Instalación del entorno:
# Clone the repository
git clone https://github.com/kairos-agi/kairos-sensenova.git
cd kairos-sensenova

# Docker image
echo ghp_xxxxxxxxxxxxxxxxx | docker login ghcr.io -u username --password-stdin
docker pull ghcr.io/kairos-agi/kairos-sensenova:v0.0.1

docker run --rm -it \
  --gpus all \
  -v $(pwd):/workspace \
  ghcr.io/kairos-agi/kairos-sensenova:v0.0.1 \
  bash

# Or install requirements with python>=3.10, torch>=2.6, cuda>=12.6
pip install -r requirements.txt

Descarga desde Hugging Face:
pip install -U huggingface_hub

hf download kairos-agi/kairos-sensenova-4B-720P \
  --local-dir models/Kairos-model/kairos-sensenova-4B-720P

Descarga desde ModelScope:
pip install modelscope

modelscope download kairos-team/kairos-sensenova-4B-720P \
  --local_dir models/Kairos-model/kairos-sensenova-4B-720P

Ejecución de inferencia:
mkdir -p models/Qwen models/Wan2.1-T2V-14B

# Download Qwen2.5-VL for Text-Encoder
hf download Qwen/Qwen2.5-VL-7B-Instruct-AWQ \
  --local-dir models/Qwen/Qwen2.5-VL-7B-Instruct-AWQ

# Download Wan2.1-VAE for VAE-Encoder/Decoder
hf download Wan-AI/Wan2.1-T2V-14B \
  --local-dir models/Wan2.1-T2V-14B \
  --include "Wan2.1_VAE.pth"

# Text2Video
bash examples/inference.sh examples/example_t2v.json

# Text&FirstImage2Video
bash examples/inference.sh examples/example_ti2v.json

# FirstImage2Video
bash examples/inference.sh examples/example_i2v.json

Funcionalidades

Modelo de difusión texto-a-video y mundo-modelo con soporte para chino e inglés.
Salida HD 720P para generación visual con mayor detalle fino.
Arquitectura multimodal integrada para comprender, generar y predecir escenas físicas.
Atención lineal híbrida diseñada para reducir memoria y cómputo en secuencias largas.
Razonamiento físico-causal mediante datos de interacción robótica, comportamiento humano estructurado y Chain-of-Thought causal.
Generalización entre distintos cuerpos robóticos, incluyendo brazos simples, brazos dobles y manos diestras.
Compatible con escenarios de texto-a-video, texto+imagen inicial-a-video e imagen inicial-a-video.
Licencia Apache 2.0, apta para uso, modificación y productos comerciales.

Casos de uso

Generación de video HD 720P a partir de texto.
Generación de video condicionada por texto e imagen inicial.
Generación de video a partir de una primera imagen.
Razonamiento físico complejo en escenas dinámicas.
Modelado del mundo para IA incorporada y robótica.
Predicción de acciones y análisis de viabilidad en tareas robóticas.
Investigación en modelos de mundo multimodales y comprensión causal.
Despliegues de baja latencia en sistemas con una o varias GPU.