Guizmus/MosaicArt

Guizmus

Texto a imagen

Modelo de texto a imagen basado en Stable Diffusion entrenado con imágenes de arte mosaico para aplicar ese estilo visual a nuevas generaciones. La versión v2 fue entrenada sobre Stable Diffusion 2.1 768 con 46 imágenes, usando StableTuner, captioning completo, prior preservation, 6 épocas de 40 repeticiones y learning rate 1e-6. La versión v1 fue entrenada sobre RunwayML Stable Diffusion 1.5 con el nuevo VAE usando EveryDream; se seleccionó la época e8 por equilibrar buena aplicación del estilo sin sobreentrenamiento.

Como usar

Instalación y uso básico con Diffusers:
pip install -U diffusers transformers accelerate

import torch
from diffusers import DiffusionPipeline

# switch to "mps" for apple devices
pipe = DiffusionPipeline.from_pretrained("Guizmus/MosaicArt", dtype=torch.bfloat16, device_map="cuda")

prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
image = pipe(prompt).images[0]

Ejemplo con StableDiffusionPipeline:
from diffusers import StableDiffusionPipeline
import torch

model_id = "Guizmus/MosaicArt"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "Mosaic Art dog on the moon"
image = pipe(prompt).images[0]

image.save("./MosaicArt.png")

Funcionalidades

Generación de imágenes a partir de texto con estilo de arte mosaico.
Compatible con Diffusers y StableDiffusionPipeline.
Usa el token "Mosaic Art" para activar el concepto/estilo entrenado.
Modelo distribuido en formato Safetensors.
Incluye versiones v1 y v2, con pesos CKPT/YAML indicados en la página del modelo.
Recomendado con muestreo k_Euler_a o DPM++ 2M Karras, 20 pasos y CFG 7.5.

Casos de uso

Crear ilustraciones de texto a imagen con estética de mosaico.
Aplicar el estilo "Mosaic Art" a sujetos, escenas o composiciones generadas con Stable Diffusion.
Prototipar imágenes artísticas en flujos locales con Diffusers, Google Colab, Kaggle, Draw Things o DiffusionBee.
Generar variaciones estilizadas de conceptos usando prompts que incluyan el token "Mosaic Art".