Bedovyy/Anima-FP8

Bedovyy
Texto a imagen

Modelo cuantizado FP8 de ANIMA para generación de imágenes texto-a-imagen en ComfyUI. Está orientado a aumentar la velocidad de generación manteniendo la calidad lo máximo posible; también incluye una variante NVFP4Mixed más ligera con calidad marginal.

Como usar

Para usar torch.compile, utiliza el nodo TorchCompileModelAdvanced de KJNodes, configura el modo en max-autotune-no-cudagraphs y asegúrate de que dynamic esté en false.

Capas cuantizadas FP8:

{
  "format": "comfy_quant",
  "block_names": ["net.blocks."],
  "rules": [
    {
      "policy": "keep",
      "match": ["blocks.0", "blocks.1."]
    },
    {
      "policy": "float8_e4m3fn",
      "match": ["q_proj", "k_proj", "v_proj", "o_proj", "output_proj", ".mlp"]
    },
    {
      "policy": "nvfp4",
      "match": []
    }
  ]
}

Capas cuantizadas NVFP4Mixed:

{
  "format": "comfy_quant",
  "block_names": ["net.blocks."],
  "rules": [
    {
      "policy": "keep",
      "match": ["blocks.0."]
    },
    {
      "policy": "float8_e4m3fn",
      "match": ["v_proj", "adaln_modulation", ".mlp"]
    },
    {
      "policy": "nvfp4",
      "match": ["k_proj", "q_proj", "output_proj"]
    }
  ]
}

Funcionalidades

Modelo de difusión texto-a-imagen en archivo único para ComfyUI.
Cuantización FP8 de 2.4 GB recomendada para maximizar velocidad con buena preservación de calidad.
Variante NVFP4Mixed de 2.0 GB con mezcla de FP8 y NVFP4 para menor tamaño y calidad marginal.
Licencia: circlestone-labs-non-commercial-license.
Probado en RTX 5090 con ComfyUI, opción --fast y torch 2.10.0+cu130.
Acelera generaciones 832x1216 a 30 pasos, cfg 4.0, er sde, simple; FP8 alcanza hasta 4.52 s / 6.64 it/s con sage + torch.compile.

Casos de uso

Generación rápida de imágenes texto-a-imagen con ANIMA en ComfyUI.
Uso local de modelos cuantizados cuando se necesita reducir tamaño de archivo y mejorar velocidad de inferencia.
Comparación entre calidad y rendimiento usando FP8 frente a NVFP4Mixed.
Flujos de ComfyUI que aprovechan `torch.compile` para acelerar la generación.