Nighttime LoRA
Este LoRA puede convertir cualquier escena en una escena nocturna, tanto en interiores como en exteriores. No solo más oscura, sino con linternas, luces de automóviles, etc. Algunas escenas necesitarán un peso más fuerte que otras. Así que ajústelo según sea necesario. Este es un experimento en un concepto de proceso de entrenamiento en el que estoy trabajando y que llamo bloqueo de semillas. Los resultados iniciales se veían bien, pero todavía necesita trabajo. La idea básica es generar imágenes de entrenamiento e imágenes de regularización con una semilla específica, luego alterar las imágenes de entrenamiento con el efecto deseado mientras se mantiene la consistencia de la imagen, y luego volver a entrenar con esas semillas específicas para apuntar a conceptos muy específicos que se desean ajustar y mantener todo lo demás igual. No es perfecto debido a los métodos de muestreo. Espero encontrar una manera de regular para el muestreador en la pérdida, con suerte pronto. Pero por ahora, disfrute del experimento.
Como usar
from diffusers import AutoPipelineForText2Image
import torch
pipeline = AutoPipelineForText2Image.from_pretrained('runwayml/stable-diffusion-v1-5', torch_dtype=torch.float16).to('cuda')
pipeline.load_lora_weights('ostris/nighttime-lora', weight_name='nighttime_v1.safetensors')
image = pipeline('a woman super excited, holding a jar with fireflies ').images[0]
Para más detalles, incluyendo el ajuste de pesos, la fusión de LoRAs, consulte la documentación sobre la carga de LoRAs en diffusers.
Funcionalidades
- Convierte cualquier escena en una escena nocturna
- Funciona en interiores y exteriores
- Incorpora efectos de iluminación como linternas y luces de automóviles
- Ajuste de peso según sea necesario
- Basado en un concepto experimental de bloqueo de semillas
Casos de uso
- Crear escenas nocturnas en imágenes
- Aplicar efectos de iluminación específicos como linternas y luces de automóviles
- Experimentos en procesos de entrenamiento y regularización de imágenes