ali-vilab/In-Context-LoRA
In-Context LoRA es un conjunto de adaptadores LoRA para modelos de texto a imagen basados en difusión, especialmente FLUX.1-dev. Permite generar conjuntos de imágenes con relaciones internas personalizables y, opcionalmente, condicionar la generación en otro conjunto de imágenes mediante SDEdit. La idea central es concatenar imágenes de condición y objetivo en una sola imagen compuesta y usar lenguaje natural para definir la tarea, lo que facilita adaptar el modelo a flujos como diseño de producto, identidad visual, storyboards, retratos, efectos visuales y plantillas.
Como usar
Instalación y uso con Diffusers:
pip install -U diffusers transformers accelerate
import torch
from diffusers import DiffusionPipeline
# switch to "mps" for apple devices
pipe = DiffusionPipeline.from_pretrained("black-forest-labs/FLUX.1-dev", dtype=torch.bfloat16, device_map="cuda")
pipe.load_lora_weights("ali-vilab/In-Context-LoRA")
prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
image = pipe(prompt).images[0]
Los pesos se descargan desde la pestaña Files & versions. El hub incluye varios archivos .safetensors especializados por tarea, cada uno con resolución recomendada y estilo de prompt propio.
Funcionalidades
- Adaptadores LoRA para generación texto-a-imagen sobre FLUX.1-dev.
- Marco agnóstico a tareas, pero con ajustes LoRA específicos para cada caso de uso.
- Generación de conjuntos de imágenes con relaciones internas controlables entre paneles o vistas.
- Soporte para generación condicionada por otro conjunto de imágenes mediante SDEdit.
- Model zoo con 10 tareas publicadas y ajustes recomendados de resolución para cada adaptador.
- Pesos disponibles en formato Safetensors.
- Licencia MIT para el repositorio/model hub, con obligación de respetar también la licencia del modelo base FLUX.
Casos de uso
- Diseño de perfiles de pareja en dos paneles.
- Storyboards cinematográficos con varias escenas en una misma composición.
- Diseño tipográfico y pruebas visuales de fuentes.
- Decoración de interiores en composiciones multipanel.
- Transformación de retrato realista a ilustración.
- Fotografía de retrato en secuencias de proceso o narrativa visual.
- Plantillas de presentación tipo PowerPoint.
- Aplicación de efectos visuales como tormenta de arena o bengalas.
- Diseño de identidad visual y transferencia de marca a productos físicos.
- Pruebas de producto, virtual try-on, migración de ropa y generación de tiras cómicas mediante workflows de la comunidad.