lambda/sd-pokemon-diffusers

lambda
Texto a imagen

Modelo de texto a imagen basado en Stable Diffusion y ajustado por Lambda Labs para generar personajes e imágenes con estética Pokémon a partir de prompts de texto. Fue entrenado con imágenes de Pokémon captionadas con BLIP, usando 2 GPU A6000 en Lambda GPU Cloud durante unas 15.000 iteraciones, aproximadamente 6 horas.

Como usar

Instalación y uso rápido con Diffusers:

pip install -U diffusers transformers accelerate

import torch
from diffusers import DiffusionPipeline

# switch to "mps" for apple devices
pipe = DiffusionPipeline.from_pretrained("lambda/sd-pokemon-diffusers", dtype=torch.bfloat16, device_map="cuda")

prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
image = pipe(prompt).images[0]

Ejemplo de uso del model card original:

!pip install diffusers==0.3.0
!pip install transformers scipy ftfy

import torch
from diffusers import StableDiffusionPipeline
from torch import autocast

pipe = StableDiffusionPipeline.from_pretrained("lambdalabs/sd-pokemon-diffusers", torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "Yoda"
scale = 10
n_samples = 4

# Sometimes the nsfw checker is confused by the Pokémon images, you can disable
# it at your own risk here
disable_safety = False

if disable_safety:
  def null_safety(images, **kwargs):
    return images, False
  pipe.safety_checker = null_safety

with autocast("cuda"):
  images = pipe(n_samples*[prompt], guidance_scale=scale).images

for idx, im in enumerate(images):
  im.save(f"{idx:06}.png")

Funcionalidades

Generación de imágenes estilo Pokémon a partir de texto.
Ajuste fino de Stable Diffusion sobre el dataset lambda/pokemon-blip-captions.
Compatible con Diffusers y StableDiffusionPipeline.
No requiere ingeniería de prompts compleja para obtener personajes tipo Pokémon.
Pesos disponibles en formato Diffusers y como pesos originales del modelo.

Casos de uso

Crear personajes originales con estética Pokémon desde descripciones breves.
Prototipar arte conceptual de criaturas coleccionables o mascotas ficticias.
Experimentar con un ajuste fino de Stable Diffusion entrenado en un dominio visual concreto.
Estudiar un ejemplo práctico de entrenamiento de variantes de Stable Diffusion con Diffusers.