BK-SDM Pequeño

nota-ai

Texto a imagen

El Modelo de Difusión Estable con Conocimiento Distilado y Bloques Removidos (BK-SDM) es una versión arquitectónicamente comprimida de SDM para una síntesis texto-imagen de propósito general eficiente. Este modelo se construyó (i) eliminando varios bloques residuales y de atención del U-Net de Stable Diffusion v1.4 y (ii) preentrenamiento con destilación en solo 0.22M de pares LAION (menos del 0.1% del conjunto de entrenamiento completo). A pesar de estar entrenado con recursos muy limitados, nuestro modelo compacto puede imitar al SDM original beneficiándose del conocimiento transferido.

Como usar

import torch
from diffusers import StableDiffusionPipeline
pipe = StableDiffusionPipeline.from_pretrained("nota-ai/bk-sdm-small", torch_dtype=torch.float16)
pipe = pipe.to("cuda")
prompt = "un pájaro tropical sentado en una rama de un árbol"
image = pipe(prompt).images[0]
image.save("example.png")

import torch
from diffusers import StableDiffusionPipeline, UNet2DConditionModel
pipe = StableDiffusionPipeline.from_pretrained("CompVis/stable-diffusion-v1-4", torch_dtype=torch.float16)
pipe.unet = UNet2DConditionModel.from_pretrained("nota-ai/bk-sdm-small", subfolder="unet", torch_dtype=torch.float16)
pipe = pipe.to("cuda")
prompt = "un pájaro tropical sentado en una rama de un árbol"
image = pipe(prompt).images[0]
image.save("example.png")

Funcionalidades

Método de Compresión: Arquitectura U-Net
Entrenamiento con destilación
Preentrenado con 0.22M pares de imagen-texto
Recursos limitados: Entrenado con una GPU NVIDIA A100 80GB
Resultados experimentales impresionantes en comparación con el modelo original
Módulo de Seguridad

Casos de uso

Despliegue seguro de modelos con el potencial de generar contenido dañino.
Exploración y comprensión de las limitaciones y sesgos de los modelos generativos.
Generación de obras de arte y uso en diseños y otros procesos artísticos.
Aplicaciones en herramientas educativas o creativas.
Investigación sobre modelos generativos.