LyliaEngine/Vexilapse

LyliaEngine

Texto a imagen

Vexilapse es un adaptador LoRA/LoKr para generación de imágenes con Diffusers, basado en OnomaAIResearch/Illustrious-xl-early-release-v0. La tarjeta indica que deriva de GENESIS, entrenado con más de 17.000 imágenes, etiquetado con Danbooru tags y lenguaje natural, y orientado a variar estilos artísticos mediante combinaciones de palabras de activación.

Como usar

Instalación y uso con Diffusers:
pip install -U diffusers transformers accelerate

import torch
from diffusers import DiffusionPipeline

# switch to "mps" for apple devices
pipe = DiffusionPipeline.from_pretrained(
    "OnomaAIResearch/Illustrious-xl-early-release-v0",
    dtype=torch.bfloat16,
    device_map="cuda"
)
pipe.load_lora_weights("LyliaEngine/Vexilapse")

prompt = "UNICODE ,best quality,masterpiece,absurdres,newest,"
image = pipe(prompt).images[0]

Ajustes recomendados indicados por la tarjeta: DPM++ 2M SDE como método de muestreo, SGM Uniform como schedule, CFG Scale entre 4 y 6, y peso recomendado entre 0.6 y 0.9. La tarjeta indica que no hay palabra de activación específica obligatoria (None).

Funcionalidades

Generación texto-a-imagen mediante Diffusers.
Adaptador LoRA para el modelo base OnomaAIResearch/Illustrious-xl-early-release-v0.
Entrenamiento descrito con más de 17.000 imágenes y más de 200 palabras de activación en el modelo GENESIS relacionado.
Soporte para combinaciones de etiquetas de estilo, iluminación y personajes para modificar el resultado visual.
Licencia cdla-permissive-2.0.

Casos de uso

Crear imágenes estilizadas a partir de prompts de texto usando un modelo base Illustrious XL.
Experimentar con estilos artísticos mediante combinaciones de etiquetas Danbooru y lenguaje natural.
Generar ilustraciones con pesos LoRA ajustables para controlar la intensidad del estilo.
Probar flujos locales en Diffusers, Google Colab, Kaggle, Draw Things o DiffusionBee.