gpustack/FLUX.1-lite-GGUF

gpustack

Texto a imagen

FLUX.1 Lite en formato GGUF es una versión cuantizada del modelo de generación texto-a-imagen Flux.1 Lite, un transformer de 8B parámetros destilado desde FLUX.1-dev. Está orientado a inferencia más eficiente: usa aproximadamente 7 GB menos de RAM y corre un 23% más rápido que el modelo original, manteniendo precisión bfloat16 en la versión base. Esta variante GGUF es experimental y está indicada como compatible solo con gpustack/llama-box v0.0.84 o superior.

Como usar

Uso recomendado con Diffusers para el modelo base Flux.1 Lite:
import torch
from diffusers import FluxPipeline

base_model_id = "Freepik/flux.1-lite-8B-alpha"
torch_dtype = torch.bfloat16
device = "cuda"

# Load the pipe
model_id = "Freepik/flux.1-lite-8B-alpha"
pipe = FluxPipeline.from_pretrained(
    model_id,
    torch_dtype=torch_dtype
).to(device)

# Inference
prompt = "A close-up image of a green alien with fluorescent skin in the middle of a dark purple forest"
guidance_scale = 3.5  # Keep guidance_scale at 3.5
n_steps = 28
seed = 11

with torch.inference_mode():
    image = pipe(
        prompt=prompt,
        generator=torch.Generator(device="cpu").manual_seed(seed),
        num_inference_steps=n_steps,
        guidance_scale=guidance_scale,
        height=1024,
        width=1024,
    ).images[0]

image.save("output.png")

Para mejores resultados, el model card recomienda mantener guidance_scale=3.5 y usar n_steps entre 22 y 30. La variante GGUF aparece marcada como experimental y soportada únicamente por gpustack/llama-box v0.0.84 o superior.

Funcionalidades

Generación texto-a-imagen basada en FLUX.1-dev destilado.
Modelo Flux.1 Lite de 8B parámetros, presentado como más ligero y rápido que FLUX.1-dev.
Distribución GGUF con cuantización basada en stable-diffusion.cpp parcheado por llama-box.
Variantes cuantizadas FP16, Q8_0, Q4_1 y Q4_0 para componentes como CLIP ViT-L/14, T5-xxl y VAE.
Recomendación específica de inferencia: guidance_scale de 3.5 y entre 22 y 30 pasos.
Incluye referencia a un flujo de ComfyUI en comfy/flux.1-lite_workflow.json.
Licencia FLUX.1 dev Non-Commercial License.

Casos de uso

Generación de imágenes a partir de prompts de texto.
Ejecución local de modelos FLUX en formatos cuantizados GGUF.
Flujos de creación visual en ComfyUI usando el workflow proporcionado.
Pruebas de inferencia texto-a-imagen con menor consumo de RAM que FLUX.1-dev.