Bedovyy/Anima-FP8
Bedovyy
Texto a imagen
Modelo cuantizado FP8 de ANIMA para generación de imágenes texto-a-imagen en ComfyUI. Está orientado a aumentar la velocidad de generación manteniendo la calidad lo máximo posible; también incluye una variante NVFP4Mixed más ligera con calidad marginal.
Como usar
Para usar torch.compile, utiliza el nodo TorchCompileModelAdvanced de KJNodes, configura el modo en max-autotune-no-cudagraphs y asegúrate de que dynamic esté en false.
Capas cuantizadas FP8:
{
"format": "comfy_quant",
"block_names": ["net.blocks."],
"rules": [
{
"policy": "keep",
"match": ["blocks.0", "blocks.1."]
},
{
"policy": "float8_e4m3fn",
"match": ["q_proj", "k_proj", "v_proj", "o_proj", "output_proj", ".mlp"]
},
{
"policy": "nvfp4",
"match": []
}
]
}
Capas cuantizadas NVFP4Mixed:
{
"format": "comfy_quant",
"block_names": ["net.blocks."],
"rules": [
{
"policy": "keep",
"match": ["blocks.0."]
},
{
"policy": "float8_e4m3fn",
"match": ["v_proj", "adaln_modulation", ".mlp"]
},
{
"policy": "nvfp4",
"match": ["k_proj", "q_proj", "output_proj"]
}
]
}
Funcionalidades
- Modelo de difusión texto-a-imagen en archivo único para ComfyUI.
- Cuantización FP8 de 2.4 GB recomendada para maximizar velocidad con buena preservación de calidad.
- Variante NVFP4Mixed de 2.0 GB con mezcla de FP8 y NVFP4 para menor tamaño y calidad marginal.
- Licencia: circlestone-labs-non-commercial-license.
- Probado en RTX 5090 con ComfyUI, opción --fast y torch 2.10.0+cu130.
- Acelera generaciones 832x1216 a 30 pasos, cfg 4.0, er sde, simple; FP8 alcanza hasta 4.52 s / 6.64 it/s con sage + torch.compile.
Casos de uso
- Generación rápida de imágenes texto-a-imagen con ANIMA en ComfyUI.
- Uso local de modelos cuantizados cuando se necesita reducir tamaño de archivo y mejorar velocidad de inferencia.
- Comparación entre calidad y rendimiento usando FP8 frente a NVFP4Mixed.
- Flujos de ComfyUI que aprovechan `torch.compile` para acelerar la generación.