Acly/comfyui-tooling-nodes

解决的问题

本项目提供了一套专为 ComfyUI 设计的自定义节点和 API 扩展，旨在让 ComfyUI 更容易作为外部软件工具的后端使用。它解决了通过文件系统交换图像和掩码的摩擦问题，简化了区域提示词的应用流程，并提供了用于对大图进行分块（tiling）以节省 VRAM 的工具。

工作原理

该工具包通过几个专业模块扩展了 ComfyUI 的功能：

• 图像/掩码处理：引入了通过嵌入在提示词中的 Base64 字符串或通过临时 RAM 缓存加载图像和掩码的节点，并通过 WebSocket 或 HTTP GET 请求将输出图像传回客户端。
• 区域提示词：实现了注意力掩码（attention masking），允许用户定义一个背景区域和多个特定的前景区域（每个区域都有自己的提示词），从而创建更自然的构图。
• 分块 (Tiling)：提供将图像分割成具有可配置填充和混合效果的切片的工具，对切片进行单独处理，然后无缝地重新合并。
• 杂项工具：包括本地翻译节点（由 Argos Translate 提供支持）和 NSFW 过滤器（使用 Stable Diffusion 安全检查器）。
• API 扩展：添加了 HTTP 端点，用于检查模型元数据（基础模型、量化类型）、翻译文本以及直接将模型上传到 ComfyUI 目录。

适用对象

构建使用 ComfyUI 作为无头生成引擎的外部应用程序、UI 或脚本的开发人员，以及需要对图像区域进行高级控制和内存高效分块的 ComfyUI 用户。

亮点

• 直接图像传输：通过使用 Base64、WebSocket 和 RAM 缓存绕过磁盘 I/O，实现更快的图像交换。
• 注意力掩码：实现精确、外观自然的区域提示词，而不会出现条件掩码（condition masking）的生硬感。
• 灵活的分块：将切片提取和合并从采样流水线中解耦，实现最大的工作流灵活性。
• 模型检查 API：允许外部工具根据基础架构（例如 SDXL、Flux）和量化方式（例如 GGUF）自动对模型进行分类和过滤。
• 本地翻译：集成了将非英语提示词在本地翻译成英语的功能。