mradermacher/zen-voyager-GGUF

mradermacher

Texto a video

Versión GGUF cuantizada de zenlm/zen-voyager, un modelo de 33B parámetros con arquitectura Qwen3 orientado a generación de video a partir de texto y uso conversacional local. El repositorio ofrece cuantizaciones estáticas para ejecutar el modelo con llama.cpp, llama-cpp-python, Ollama, LM Studio, Docker Model Runner, Unsloth Studio, Pi, Hermes Agent y Lemonade. No aparece desplegado en proveedores de inferencia de Hugging Face.

Como usar

Ejemplos de uso extraídos de la página:
# Load model directly
from transformers import AutoModel
model = AutoModel.from_pretrained("mradermacher/zen-voyager-GGUF", dtype="auto")

# !pip install llama-cpp-python
from llama_cpp import Llama

llm = Llama.from_pretrained(
    repo_id="mradermacher/zen-voyager-GGUF",
    filename="zen-voyager.IQ4_XS.gguf",
)

llm.create_chat_completion(
    messages = "\"A young man walking on the street\""
)

# macOS/Linux con llama.cpp
curl -LsSf https://llama.app/install.sh | sh
llama serve -hf mradermacher/zen-voyager-GGUF:Q4_K_M
llama cli -hf mradermacher/zen-voyager-GGUF:Q4_K_M

# Windows
winget install llama.cpp
llama serve -hf mradermacher/zen-voyager-GGUF:Q4_K_M
llama cli -hf mradermacher/zen-voyager-GGUF:Q4_K_M

# Binarios precompilados de llama.cpp
./llama-server -hf mradermacher/zen-voyager-GGUF:Q4_K_M
./llama-cli -hf mradermacher/zen-voyager-GGUF:Q4_K_M

# Compilar llama.cpp desde código fuente
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-server llama-cli
./build/bin/llama-server -hf mradermacher/zen-voyager-GGUF:Q4_K_M
./build/bin/llama-cli -hf mradermacher/zen-voyager-GGUF:Q4_K_M

# Docker Model Runner
docker model run hf.co/mradermacher/zen-voyager-GGUF:Q4_K_M

# Ollama
ollama run hf.co/mradermacher/zen-voyager-GGUF:Q4_K_M

# Unsloth Studio en macOS/Linux/WSL
curl -fsSL https://unsloth.ai/install.sh | sh
unsloth studio -H 0.0.0.0 -p 8888

# Unsloth Studio en Windows
irm https://unsloth.ai/install.ps1 | iex
unsloth studio -H 0.0.0.0 -p 8888

# Pi con servidor local llama.cpp
brew install llama.cpp
llama serve -hf mradermacher/zen-voyager-GGUF:Q4_K_M
npm install -g @mariozechner/pi-coding-agent
pi

{
  "providers": {
    "llama-cpp": {
      "baseUrl": "http://localhost:8080/v1",
      "api": "openai-completions",
      "apiKey": "none",
      "models": [
        {
          "id": "mradermacher/zen-voyager-GGUF:Q4_K_M"
        }
      ]
    }
  }
}

# Hermes Agent
brew install llama.cpp
llama serve -hf mradermacher/zen-voyager-GGUF:Q4_K_M
curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash
hermes setup
hermes config set model.provider custom
hermes config set model.base_url http://127.0.0.1:8080/v1
hermes config set model.default mradermacher/zen-voyager-GGUF:Q4_K_M
hermes

# Lemonade
lemonade pull mradermacher/zen-voyager-GGUF:Q4_K_M
lemonade run user.zen-voyager-GGUF-Q4_K_M
lemonade list

Funcionalidades

Modelo cuantizado en formato GGUF basado en zenlm/zen-voyager.
Arquitectura Qwen3 con tamaño indicado de 33B parámetros.
Tarea principal: Text-to-Video; etiquetas relacionadas con video-generation, diffusion, world-model y conversational.
Licencia Apache 2.0.
Incluye múltiples cuantizaciones: Q2_K, Q3_K_S, Q3_K_M, Q3_K_L, IQ4_XS, Q4_K_S, Q4_K_M, Q5_K_S, Q5_K_M, Q6_K y Q8_0.
Q4_K_S y Q4_K_M se marcan como rápidas y recomendadas; Q6_K como muy buena calidad; Q8_0 como rápida y de mejor calidad.
Los archivos van aproximadamente de 12.3 GB en Q2_K a 34.8 GB en Q8_0.
Compatible con ejecución local mediante llama.cpp, llama-cpp-python, Ollama, Docker Model Runner, Unsloth Studio, Pi, Hermes Agent y Lemonade.

Casos de uso

Generación local de video a partir de prompts de texto usando variantes GGUF cuantizadas.
Pruebas de zen-voyager en máquinas locales sin depender de proveedores de inferencia alojados.
Comparación de calidad, tamaño y velocidad entre cuantizaciones GGUF de 2 a 8 bits.
Despliegue de un servidor local compatible con OpenAI mediante llama.cpp para integrarlo con agentes o aplicaciones.
Experimentación con interfaces locales como Ollama, LM Studio, Unsloth Studio, Pi, Hermes Agent o Lemonade.