lambda/sd-pokemon-diffusers
lambda
Texto a imagen
Modelo de texto a imagen basado en Stable Diffusion y ajustado por Lambda Labs para generar personajes e imágenes con estética Pokémon a partir de prompts de texto. Fue entrenado con imágenes de Pokémon captionadas con BLIP, usando 2 GPU A6000 en Lambda GPU Cloud durante unas 15.000 iteraciones, aproximadamente 6 horas.
Como usar
Instalación y uso rápido con Diffusers:
pip install -U diffusers transformers accelerate
import torch
from diffusers import DiffusionPipeline
# switch to "mps" for apple devices
pipe = DiffusionPipeline.from_pretrained("lambda/sd-pokemon-diffusers", dtype=torch.bfloat16, device_map="cuda")
prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
image = pipe(prompt).images[0]
Ejemplo de uso del model card original:
!pip install diffusers==0.3.0
!pip install transformers scipy ftfy
import torch
from diffusers import StableDiffusionPipeline
from torch import autocast
pipe = StableDiffusionPipeline.from_pretrained("lambdalabs/sd-pokemon-diffusers", torch_dtype=torch.float16)
pipe = pipe.to("cuda")
prompt = "Yoda"
scale = 10
n_samples = 4
# Sometimes the nsfw checker is confused by the Pokémon images, you can disable
# it at your own risk here
disable_safety = False
if disable_safety:
def null_safety(images, **kwargs):
return images, False
pipe.safety_checker = null_safety
with autocast("cuda"):
images = pipe(n_samples*[prompt], guidance_scale=scale).images
for idx, im in enumerate(images):
im.save(f"{idx:06}.png")
Funcionalidades
- Generación de imágenes estilo Pokémon a partir de texto.
- Ajuste fino de Stable Diffusion sobre el dataset lambda/pokemon-blip-captions.
- Compatible con Diffusers y StableDiffusionPipeline.
- No requiere ingeniería de prompts compleja para obtener personajes tipo Pokémon.
- Pesos disponibles en formato Diffusers y como pesos originales del modelo.
Casos de uso
- Crear personajes originales con estética Pokémon desde descripciones breves.
- Prototipar arte conceptual de criaturas coleccionables o mascotas ficticias.
- Experimentar con un ajuste fino de Stable Diffusion entrenado en un dominio visual concreto.
- Estudiar un ejemplo práctico de entrenamiento de variantes de Stable Diffusion con Diffusers.