0xJustin/Dungeons-and-Diffusion
0xJustin
Texto a imagen
Modelo de texto a imagen basado en Diffusers/Stable Diffusion y distribuido en formato Safetensors, entrenado para generar personajes de fantasía inspirados en Dungeons & Dragons. La versión nueva recomendada es `D&Diffusion3.0_Protogen.ckpt`, afinada desde Protogen, con mejor rendimiento a resoluciones superiores a 512x512 y soporte explícito para múltiples especies y clases de rol.
Como usar
Instalación y uso con Diffusers:
pip install -U diffusers transformers accelerate
import torch
from diffusers import DiffusionPipeline
# switch to "mps" for apple devices
pipe = DiffusionPipeline.from_pretrained("0xJustin/Dungeons-and-Diffusion", dtype=torch.bfloat16, device_map="cuda")
prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
image = pipe(prompt).images[0]
Prompt sugerido por la página del modelo:
modelshoot style, (extremely detailed CG unity 8k wallpaper), full shot body photo of the most beautiful artwork in the world, english medieval pink (dragonborn druid) witch, black silk robe, nature magic, medieval era, painting by Ed Blinkey, Atey Ghailan, Studio Ghibli, by Jeremy Mann, Greg Manchess, Antonio Moro, trending on ArtStation, trending on CGSociety, Intricate, High Detail, Sharp focus, dramatic, painting art by midjourney and greg rutkowski, teal and gold, petals, countryside, action pose, casting a spell, green swirling magic
Prompt negativo y parámetros de ejemplo:
Negative prompt: canvas frame, cartoon, 3d, photorealistic
Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 10, Seed: 2603924688, Size: 512x768, Batch size: 4, Batch pos: 1, Clip skip: 2
Funcionalidades
- Generación de imágenes de personajes de fantasía a partir de prompts textuales.
- Enfoque en razas/especies de D&D como aarakocra, aasimar, genasi, centauro, dragonborn, drow, elfo, tiefling, tabaxi, warforged y otras.
- Soporte de clases y arquetipos como Artificer, Bard, Barbarian, Cleric, Fighter, Druid, Monk, Paladin, Rogue, Ranger, Sorcerer, Warlock, Wizard, Noble y Townsperson.
- Modelo disponible para uso con la librería Diffusers mediante `StableDiffusionPipeline`/`DiffusionPipeline`.
- Incluye versiones entrenadas con distintos enfoques: `Model16000`, que puede funcionar mejor para centauros y aarakocra, y `Model30000`, que imita mejor el estilo de encargos de personajes DnD.
- Puede requerir prompts negativos para controlar filtraciones visuales entre clases o especies, especialmente orejas de elfo, cuernos, aves o caballos.
Casos de uso
- Crear arte conceptual de personajes para campañas de rol de fantasía.
- Generar retratos o ilustraciones de personajes D&D por raza, clase y estilo visual.
- Prototipar comisiones visuales de personajes fantásticos antes de encargar arte final.
- Explorar combinaciones de especies, clases, vestimenta, magia y poses de acción para personajes de fantasía.