mradermacher/Janus-Pro-1B-GGUF

mradermacher

Texto a imagen

Versión cuantizada en formato GGUF de Janus-Pro-1B de deepseek-community, orientada a uso local con herramientas como llama.cpp, llama-cpp-python, Ollama, LM Studio, Jan y Docker Model Runner. Es un modelo multimodal unificado etiquetado para generación texto-a-imagen y conversación, con arquitectura tipo llama, licencia MIT y variantes cuantizadas desde Q2_K hasta F16, además de archivos mmproj para soporte multimodal.

Como usar

Ejemplos de uso extraídos de la página:
# Load model directly
from transformers import AutoModel
model = AutoModel.from_pretrained("mradermacher/Janus-Pro-1B-GGUF", dtype="auto")

# !pip install llama-cpp-python
from llama_cpp import Llama

llm = Llama.from_pretrained(
    repo_id="mradermacher/Janus-Pro-1B-GGUF",
    filename="Janus-Pro-1B.IQ4_XS.gguf",
)

llm.create_chat_completion(
    messages = "\"Astronaut riding a horse\""
)

# llama.cpp con Homebrew
brew install llama.cpp
llama-server -hf mradermacher/Janus-Pro-1B-GGUF:Q4_K_M
llama-cli -hf mradermacher/Janus-Pro-1B-GGUF:Q4_K_M

# llama.cpp en Windows
winget install llama.cpp
llama-server -hf mradermacher/Janus-Pro-1B-GGUF:Q4_K_M
llama-cli -hf mradermacher/Janus-Pro-1B-GGUF:Q4_K_M

# Binario precompilado de llama.cpp
./llama-server -hf mradermacher/Janus-Pro-1B-GGUF:Q4_K_M
./llama-cli -hf mradermacher/Janus-Pro-1B-GGUF:Q4_K_M

# Compilar llama.cpp desde código fuente
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-server llama-cli
./build/bin/llama-server -hf mradermacher/Janus-Pro-1B-GGUF:Q4_K_M
./build/bin/llama-cli -hf mradermacher/Janus-Pro-1B-GGUF:Q4_K_M

# Docker Model Runner
docker model run hf.co/mradermacher/Janus-Pro-1B-GGUF:Q4_K_M

# Ollama
ollama run hf.co/mradermacher/Janus-Pro-1B-GGUF:Q4_K_M

# Unsloth Studio en macOS, Linux o WSL
curl -fsSL https://unsloth.ai/install.sh | sh
unsloth studio -H 0.0.0.0 -p 8888

# Unsloth Studio en Windows
irm https://unsloth.ai/install.ps1 | iex
unsloth studio -H 0.0.0.0 -p 8888

# Lemonade
lemonade pull mradermacher/Janus-Pro-1B-GGUF:Q4_K_M
lemonade run user.Janus-Pro-1B-GGUF-Q4_K_M
lemonade list

Funcionalidades

Formato GGUF para ejecución local eficiente.
Modelo cuantizado derivado de deepseek-community/Janus-Pro-1B.
Soporta flujos multimodales mediante archivos complementarios mmproj-Q8_0 y mmproj-f16.
Incluye múltiples cuantizaciones: Q2_K, Q3_K, IQ4_XS, Q4_K, Q5_K, Q6_K, Q8_0 y F16.
Q4_K_S y Q4_K_M se indican como opciones rápidas y recomendadas.
Q8_0 se presenta como opción rápida y de mejor calidad entre las cuantizaciones listadas.
Compatible con llama.cpp, llama-cpp-python, Ollama, Docker Model Runner, Lemonade y Unsloth Studio.
No aparece desplegado en proveedores de inferencia de Hugging Face en la página proporcionada.

Casos de uso

Ejecutar Janus-Pro-1B localmente en formato GGUF sin depender de proveedores de inferencia alojados.
Probar generación texto-a-imagen y conversación multimodal en herramientas compatibles con llama.cpp.
Seleccionar cuantizaciones según memoria disponible, velocidad y calidad deseada.
Montar un servidor local compatible con la API de OpenAI usando llama-server.
Experimentar con variantes ligeras del modelo en entornos de escritorio, Docker o estudios locales como LM Studio, Jan, Unsloth Studio y Lemonade.