kostakoff/stable-diffusion-v1-5-GGUF

kostakoff

Texto a imagen

Versiones cuantizadas de Stable Diffusion v1.5 en formato GGUF, preparadas para ejecutarse con stable-diffusion.cpp o sd.cpp. El repositorio ofrece pesos Q4_0, Q4_K, Q8_0 y BF16 para generación texto-a-imagen local; la variante BF16 tiene un problema conocido en SD 1.5 que puede producir imágenes negras, por lo que Q8_0 se recomienda cuando se busca la máxima calidad práctica.

Como usar

Descargar una cuantización, compilar stable-diffusion.cpp con CUDA, iniciar el servidor local y llamar al endpoint compatible con OpenAI.
wget https://huggingface.co/kostakoff/stable-diffusion-v1-5-GGUF/resolve/main/v1-5-pruned_Q4_0.gguf
# Other quantizations:
# wget https://huggingface.co/kostakoff/stable-diffusion-v1-5-GGUF/resolve/main/v1-5-pruned_Q4_K.gguf
# wget https://huggingface.co/kostakoff/stable-diffusion-v1-5-GGUF/resolve/main/v1-5-pruned_Q8_0.gguf
# wget https://huggingface.co/kostakoff/stable-diffusion-v1-5-GGUF/resolve/main/v1-5-pruned_bf16.gguf

git clone https://github.com/leejet/stable-diffusion.cpp
cd stable-diffusion.cpp
git submodule init
git submodule update
mkdir build && cd build
cmake .. -DSD_CUDA=ON
cmake --build . --config Release

export CUDA_VISIBLE_DEVICES=0
./stable-diffusion.cpp/build/bin/sd-server \
  -m /path/to/v1-5-pruned_Q4_0.gguf \
  --vae-on-cpu \
  --listen-ip 0.0.0.0 \
  --listen-port 8081

curl -s http://127.0.0.1:8081/v1/images/generations \
  -H "Content-Type: application/json" \
  -d '{
    "model": "sd",
    "prompt": "A lovely cat {\"seed\": 357925}",
    "n": 1,
    "size": "512x512",
    "response_format": "b64_json"
  }' | jq -r '.data[0].b64_json' | base64 --decode > output.png

Funcionalidades

Generación texto-a-imagen basada en Stable Diffusion v1.5.
Pesos GGUF compatibles con stable-diffusion.cpp.
Cuantizaciones disponibles: Q4_0, Q4_K, Q8_0 y BF16.
Q4_0 prioriza tamaño reducido y velocidad con ligera pérdida de calidad.
Q4_K equilibra calidad y tamaño.
Q8_0 ofrece alta calidad con aproximadamente la mitad del tamaño de BF16.
Servidor local con endpoint compatible con OpenAI /v1/images/generations.
Incluye instrucciones de conversión desde los pesos originales v1-5-pruned.safetensors.

Casos de uso

Generar imágenes localmente con Stable Diffusion v1.5 usando pesos GGUF.
Ejecutar SD 1.5 en entornos donde stable-diffusion.cpp sea el runtime preferido.
Probar distintas cuantizaciones para ajustar calidad, tamaño de archivo y velocidad.
Exponer generación de imágenes mediante una API local compatible con OpenAI.
Convertir y reproducir pesos SD 1.5 desde safetensors a GGUF para despliegues propios.