Eviation/flux-imatrix

Eviation
Texto a imagen

Cuantizaciones experimentales en formato GGUF de FLUX.1-dev para generación de imágenes a partir de texto. El repositorio compara varias familias de cuantización con matrices de importancia, incluyendo series Disco, Caesar, Bravo y Alpha, con tamaños desde unas 2.4 GB hasta 23.8 GB en F16 de referencia. Está orientado a probar pérdida L2, calidad visual y compatibilidad de ejecución en herramientas como ComfyUI-GGUF, stable-diffusion.cpp y backends CPU/CUDA/Vulkan.

Como usar

Descargar una variante .gguf adecuada al hardware y cargarla en un flujo compatible con FLUX/SD3 en herramientas como ComfyUI-GGUF o stable-diffusion.cpp. Las variantes Q8_0 y F16 se presentan como las más cercanas a referencia, mientras que las variantes de muy bajo bit son experimentales y pueden producir resultados rotos o de baja calidad. La propia tarjeta advierte que algunos elementos pueden estar defectuosos y deben usarse bajo criterio propio.

Funcionalidades

Modelo de texto a imagen basado en FLUX.1-dev con arquitectura flux y tamaño aproximado de 12B parámetros.
Archivos GGUF cuantizados en múltiples niveles: 1-bit, 2-bit, 3-bit, 4-bit, 5-bit, 6-bit y 8-bit.
Incluye variantes IQ, TQ, Q_K, Q4/Q5/Q6/Q8 y referencia F16 de 23.8 GB.
Comparativas experimentales de pérdida L2 y calidad por paso 25, con ejemplos visuales indicados en la tarjeta del modelo.
Cuantización dinámica con matrices de importancia calculadas sobre distintas configuraciones de imágenes y pasos.
Compatibilidad declarada o exploratoria con ComfyUI-GGUF en CPU/CUDA, stable-diffusion.cpp vía llama.cpp y soporte Vulkan limitado según tipo de cuantización.
Licencia flux-1-dev-non-commercial-license; uso no comercial según la licencia base.

Casos de uso

Generación local de imágenes con FLUX.1-dev usando archivos GGUF más pequeños que el modelo F16 completo.
Pruebas de calidad frente a tamaño para elegir una cuantización FLUX según memoria disponible.
Evaluación experimental de cuantizaciones imatrix, K-quants e I-quants para pipelines de difusión.
Ejecución en entornos CPU, CUDA o Vulkan cuando se usa software compatible con GGUF para modelos de imagen.