simpletuner-lora-flux-v2
rohn132
Texto a imagen
Este es un PEFT LoRA estándar derivado del modelo black-forest-labs/FLUX.1-dev. El principal prompt de validación utilizado durante el entrenamiento fue: objetos transparentes en una mesa. El codificador de texto no fue entrenado. Puedes reutilizar el codificador de texto del modelo base para la inferencia. El modelo fue entrenado con un conjunto de datos personalizado de objetos transparentes.
Como usar
import torch
from diffusers import DiffusionPipeline
model_id = 'black-forest-labs/FLUX.1-dev'
adapter_id = 'rohn132/simpletuner-lora-flux-v2'
pipeline = DiffusionPipeline.from_pretrained(model_id)
pipeline.load_lora_weights(adapter_id)
prompt = "transparent objects on a table"
pipeline.to('cuda' if torch.cuda.is_available() else 'mps' if torch.backends.mps.is_available() else 'cpu')
image = pipeline(
prompt=prompt,
num_inference_steps=20,
generator=torch.Generator(device='cuda' if torch.cuda.is_available() else 'mps' if torch.backends.mps.is_available() else 'cpu').manual_seed(1641421826),
width=1024,
height=1024,
guidance_scale=3.0,
).images[0]
image.save("output.png", format="PNG")
Funcionalidades
- Ajustes de validación CFG: 3.0
- Rescalar CFG: 0.0
- Pasos: 20
- Resolución: 1024x1024
- Épocas de entrenamiento: 1
- Pasos de entrenamiento: 59300
- Tasa de aprendizaje: 8e-05
- Tamaño de lote efectivo: 4
- Tamaño de micro-lote: 1
- Pasos de acumulación de gradiente: 4
- Número de GPUs: 1
- Tipo de predicción: emparejamiento de flujo
- Betas reescaladas SNR cero: Falso
- Optimizador: adamw_bf16
- Precisión: bf16
- Cuantizado: No
- Xformers: No utilizado
- Rango LoRA: 64
- Alpha LoRA: Ninguno
- Abandono LoRA: 0.1
- Estilo de inicialización LoRA: predeterminado
Casos de uso
- Generar imágenes de objetos transparentes en diferentes configuraciones y condiciones de iluminación.
- Utilizar prompts negativos para evitar resultados no deseados en las imágenes generadas.