OpenMOSS/MOSS-Image

MOSS‑Image 是什么？

MOSS‑Image 是由 OpenMOSS 团队发布的开源文本到图像扩散模型。它专注于布局控制生成，这意味着你可以通过简单的 JSON 描述告诉模型在图片中放置文本和对象的位置。提供了两个检查点：

• MOSS‑Image‑Base – 原始的 5B 参数扩散模型。
• MOSS‑Image‑SFT – 微调版本，可生成更清晰的文本渲染和更有序的构图。

该仓库包含模型代码、自定义 Diffusers 流水线、Gradio Web UI、ComfyUI 插件，以及一个“提示增强器”技能，可帮助智能体将粗略草图转换为所需的 JSON 布局。

---

主要亮点（如 README 中所列）

功能	含义
布局控制	你提供包含文本和对象边界框的 JSON；模型会尊重这些位置。
强大的文本渲染	在图像内生成清晰、准确的字符（包括非拉丁文字）。
长提示支持	接受最多 4K 个 token，允许详细的场景描述。
多样的视觉风格	可以生成动漫风格或照片级逼真的图像。
易于微调	基础模型可通过 LoRA 或全模型 SFT 适应自定义领域。
紧凑高效	仅 5B 主干，使其比更大的扩散模型运行成本更低。
异构 GPU 训练	在混合 GPU 架构上训练，因此代码可在多种硬件设置上运行。

---

快速开始

1. 安装代码

git clone https://github.com/OpenMOSS/MOSS-Image.git
cd MOSS-Image
python -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt

2. 通过 Python 运行模型

import torch
from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained(
    "OpenMOSS-Team/MOSS-Image-Base",
    custom_pipeline="pipeline_moss_image",
    trust_remote_code=True,
    torch_dtype={"default": torch.bfloat16, "vae": torch.float32},
)
pipe.scheduler = type(pipe.scheduler).from_config(pipe.scheduler.config)
pipe.to("cuda")

prompt = "A wide view of a refrigerator … handwritten in Chinese…"
image = pipe(
    prompt,
    height=1456,
    width=1456,
    num_inference_steps=50,
    guidance_scale=3.0,
    uncond_skip_layers=[22],
    generator=torch.Generator("cpu").manual_seed(42),
).images[0]
image.save("refrigerator_note.png")

3. 启动 Gradio 演示

pip install -e '.[ui]'
python gradio_app.py --model OpenMOSS-Team/MOSS-Image-Base

UI 允许你切换内存模式（GPU 驻留、组件、顺序）以适应你的硬件。

4. 与 ComfyUI 一起使用

在 ComfyUI Manager 中搜索 MOSS‑Image 并安装插件。示例工作流位于 comfyui/moss-image/example_workflows/ 下。

---

布局到图像生成

MOSS‑Image 接受描述以下内容的 JSON 布局：

• 一个高级 summary（整体风格、画布类型），
• 一个 items 列表，其中每个条目具有 label（text 或 object）、人类可读的 caption、可选的 text 内容，以及指定位置的 bbox。
• 坐标系细节（bbox_coord_space、bbox_format）。

将该 JSON 粘贴到 Gradio 提示字段（或作为字符串传递给 Python API），模型将把元素精确放置在您指示的位置。

---

资源

• 模型权重：Hugging Face 和 ModelScope 上提供 Base 和 SFT 检查点的链接。
• 演示：托管在 Hugging Face Spaces 上。
• 文档：英文和中文用户指南（USERGUIDE.md、USERGUIDE_ZH.md）。
• 提示增强器技能：用于智能体（例如 GPT‑6 系列）的辅助工具，可将草图转换为所需的 JSON 布局。
• 社区：Discord、QQ 群、飞书社区和 X（Twitter）账号提供支持。
• 引用：提供 BibTeX 条目供学术使用。

---

许可证

流水线代码根据 Apache License 2.0 发布。