meituan-longcat/LongCat-Image

meituan-longcat
Texto a imagen

Modelo fundacional abierto y bilingüe (chino-inglés) de generación de imágenes, enfocado en renderizado multilingüe de texto, fotorrealismo y despliegue eficiente. Con 6B de parámetros, está diseñado para ofrecer alto rendimiento en texto a imagen y mejorar especialmente la generación de caracteres chinos.

Como usar

Instalación:

pip install git+https://github.com/huggingface/diffusers

Uso para generación de texto a imagen:

import torch
from diffusers import LongCatImagePipeline

if __name__ == '__main__':
    device = torch.device('cuda')
    pipe = LongCatImagePipeline.from_pretrained(
        "meituan-longcat/LongCat-Image",
        torch_dtype=torch.bfloat16
    )
    # pipe.to(device, torch.bfloat16)  # Descomentar en GPUs con mucha VRAM
    pipe.enable_model_cpu_offload()  # Reduce VRAM; requiere ~17 GB y es más lento

    prompt = '一个年轻的亚裔女性,身穿黄色针织衫,搭配白色项链。她的双手放在膝盖上,表情恬静。背景是一堵粗糙的砖墙,午后的阳光温暖地洒在她身上,营造出一种宁静而温馨的氛围。镜头采用中距离视角,突出她的神态和服饰的细节。光线柔和地打在她的脸上,强调她的五官和饰品的质感,增加画面的层次感与亲和力。整个画面构图简洁,砖墙的纹理与阳光的光影效果相得益彰,突显出人物的优雅与从容。'

    image = pipe(
        prompt,
        height=768,
        width=1344,
        guidance_scale=4.0,
        num_inference_steps=50,
        num_images_per_prompt=1,
        generator=torch.Generator("cpu").manual_seed(43),
        enable_cfg_renorm=True,
        enable_prompt_rewrite=True
    ).images[0]

    image.save('./t2i_example.png')

Nota importante para renderizado de texto: cuando el prompt incluya texto que deba aparecer dentro de la imagen, ese texto debe ir entre comillas simples o dobles, incluidas comillas inglesas o chinas. El modelo usa una codificación especial a nivel de carácter para contenido entrecomillado; si no se usan comillas, la calidad del texto generado se degrada notablemente.

Funcionalidades

Generación de imágenes a partir de texto con arquitectura eficiente de 6B parámetros.
Capacidad bilingüe en chino e inglés.
Renderizado de texto en chino con alta precisión, estabilidad y amplia cobertura de caracteres.
Fotorrealismo mejorado mediante una estrategia de datos y entrenamiento específica.
Compatibilidad con Diffusers y pesos en formato Safetensors.
Opciones de inferencia con offload a CPU para reducir uso de VRAM.
Soporte para refinamiento de prompt mediante reescritura automática del prompt.

Casos de uso

Generación de imágenes fotorrealistas a partir de prompts en chino o inglés.
Creación de imágenes que requieren texto visible, especialmente en chino.
Prototipado visual bilingüe para diseño, marketing o contenido creativo.
Escenarios de inferencia con recursos limitados donde importa la eficiencia del modelo.