mradermacher/zen-voyager-i1-GGUF

mradermacher
Texto a video

Cuantización GGUF con pesos imatrix del modelo base zenlm/zen-voyager, orientado a generación de vídeo a partir de texto y uso conversacional local. El repositorio ofrece variantes cuantizadas de 1 a 6 bits para ejecutar el modelo con llama.cpp, llama-cpp-python, Ollama, LM Studio, Jan, Unsloth Studio, Pi, Hermes Agent, Docker Model Runner y Lemonade. La variante Q4_K_M se presenta como rápida y recomendada, mientras que Q4_K_S se indica como el mejor equilibrio entre tamaño, velocidad y calidad.

Como usar

Uso con Transformers:

# Load model directly
from transformers import AutoModel
model = AutoModel.from_pretrained("mradermacher/zen-voyager-i1-GGUF", dtype="auto")

Uso con llama-cpp-python:

# !pip install llama-cpp-python
from llama_cpp import Llama
llm = Llama.from_pretrained(
    repo_id="mradermacher/zen-voyager-i1-GGUF",
    filename="zen-voyager.i1-IQ1_M.gguf",
)
llm.create_chat_completion(
    messages = "\"A young man walking on the street\""
)

Uso con llama.cpp:

# Install (macOS, Linux)
curl -LsSf https://llama.app/install.sh | sh

# Start a local OpenAI-compatible server with a web UI:
llama serve -hf mradermacher/zen-voyager-i1-GGUF:Q4_K_M

# Run inference directly in the terminal:
llama cli -hf mradermacher/zen-voyager-i1-GGUF:Q4_K_M

Uso con Ollama:

ollama run hf.co/mradermacher/zen-voyager-i1-GGUF:Q4_K_M

Uso con Docker Model Runner:

docker model run hf.co/mradermacher/zen-voyager-i1-GGUF:Q4_K_M

Funcionalidades

Modelo GGUF cuantizado derivado de zenlm/zen-voyager.
Modelo de 33B parámetros con arquitectura qwen3.
Tarea principal: text-to-video / generación de vídeo desde texto.
Licencia Apache 2.0.
Incluye archivo imatrix para crear cuantizaciones propias.
Ofrece muchas variantes GGUF: IQ1, IQ2, IQ3, IQ4, Q2_K, Q3_K, Q4_K, Q5_K y Q6_K.
Q4_K_M está marcado como rápido y recomendado; Q4_K_S como equilibrio óptimo de tamaño, velocidad y calidad.
No aparece desplegado en proveedores de inferencia de Hugging Face en la página proporcionada.
Descargas recientes indicadas: 626 el último mes.

Casos de uso

Generar vídeo a partir de prompts textuales en entornos locales compatibles con GGUF.
Probar zen-voyager en hardware limitado usando cuantizaciones de bajo bitaje.
Ejecutar un servidor local compatible con la API de OpenAI mediante llama.cpp.
Comparar calidad, velocidad y tamaño entre variantes Q4, Q5 y Q6 del mismo modelo.
Integrar el modelo en flujos locales con Ollama, LM Studio, Jan, Hermes Agent, Pi o Lemonade.