Acly/comfyui-tooling-nodes

해결하는 문제

이 프로젝트는 ComfyUI를 외부 소프트웨어 도구의 백엔드로 더 쉽게 사용할 수 있도록 설계된 커스텀 노드 및 API 확장을 제공합니다. 파일 시스템을 통한 이미지 및 마스크 교환의 번거로움을 해결하고, 지역 프롬프트(regional prompt) 적용 프로세스를 단순화하며, VRAM을 절약하기 위한 대형 이미지 타일링 도구를 제공합니다.

작동 방식

이 툴킷은 여러 전문 모듈을 통해 ComfyUI의 기능을 확장합니다:

• 이미지/마스크 처리: 프롬프트에 포함된 Base64 문자열 또는 임시 RAM 캐시를 통해 이미지와 마스크를 로드하는 노드를 도입하고, 출력 이미지를 WebSocket 또는 HTTP GET 요청을 통해 클라이언트에 다시 전송합니다.
• 지역 프롬프팅 (Regional Prompting): 어텐션 마스킹을 구현하여 사용자가 배경 영역과 각각 고유한 프롬프트를 가진 여러 특정 전경 영역을 정의할 수 있게 함으로써 더욱 자연스러운 구도를 생성할 수 있도록 합니다.
• 타일링 (Tiling): 구성 가능한 패딩 및 블렌딩과 함께 이미지를 타일로 분할하고, 개별적으로 처리한 다음, 다시 매끄럽게 병합하는 도구를 제공합니다.
• 기타 도구: 로컬 번역 노드(Argos Translate 기반)와 NSFW 필터(Stable Diffusion safety checker 사용)가 포함되어 있습니다.
• API 확장: 모델 메타데이터(베이스 모델, 양자화 유형) 검사, 텍스트 번역 및 ComfyUI 디렉토리에 모델을 직접 업로드하기 위한 HTTP 엔드포인트를 추가합니다.

대상 사용자

ComfyUI를 헤드리스 생성 엔진으로 사용하는 외부 애플리케이션, UI 또는 스크립트를 구축하는 개발자와 이미지 영역에 대한 고급 제어 및 메모리 효율적인 타일링이 필요한 ComfyUI 사용자.

주요 특징

• 직접 이미지 전송: Base64, WebSocket 및 RAM 캐싱을 사용하여 디스크 I/O를 우회하여 더 빠른 이미지 교환을 실현합니다.
• 어텐션 마스킹: 컨디션 마스킹의 경직성 없이 정밀하고 자연스러운 외관의 지역 프롬프팅을 가능하게 합니다.
• 유연한 타일링: 타일 추출 및 병합을 샘플링 파이프라인에서 분리하여 워크플로우 유연성을 극대화합니다.
• 모델 검사 API: 외부 도구가 베이스 아키텍처(예: SDXL, Flux) 및 양자화(예: GGUF)에 따라 모델을 자동으로 분류하고 필터링할 수 있도록 합니다.
• 로컬 번역: 비영어 프롬프트를 로컬에서 영어로 번역하는 기능을 통합했습니다.