chflame163/ComfyUI_LayerStyle_Advance

해결하는 문제

이 프로젝트는 무거운 의존성 패키지가 필요한 복잡한 이미지 처리 작업을 처리하기 위해 특별히 설계된 고급 ComfyUI 커스텀 노드 세트를 제공합니다. 고품질 이미지 캡셔닝, 시각 언어 모델(VLM) 추론 및 고급 이미지 합성 기능을 추가하여 ComfyUI의 기본 기능을 확장합니다.

작동 방식

다양한 전문 AI 모델과 API를 ComfyUI의 노드 기반 워크플로우에 통합합니다. 여기에는 다음이 포함됩니다:

• 로컬 VLM 추론: Llama 3.2 Vision, JoyCaption2, SmolVLM과 같은 모델을 구현하여 이미지-텍스트 변환 작업을 수행합니다.
• API 통합: DeepSeek, Gemini, ZhipuGLM4, Jimeng과 같은 외부 서비스에 연결하여 텍스트 및 시각적 추론을 수행합니다.
• 이미지 조작: 이미지 콜라주를 생성하기 위한 도구를 제공하며, SAM2 (Segment Anything Model 2)를 활용하여 정밀한 객체 마스킹을 수행합니다.
• 전문 처리: Florence-2와 같은 모델을 사용하여 객체 인식 및 크로핑을 수행합니다.

대상 사용자

• 이미지에서 상세한 프롬프트를 자동으로 생성(image-to-prompt)하려는 ComfyUI 사용자.
• 노드 기반 워크플로우 내에서 고급 레이어링, 마스킹 및 이미지 합성 도구가 필요한 디지털 아티스트 및 AI 크리에이터.
• 최첨단 VLM 및 LLM을 이미지 생성 파이프라인에 통합하려는 사용자.

주요 특징

• 고급 캡셔닝: JoyCaption2를 포함하여 매우 상세하고 사용자 정의 가능한 이미지 설명(조명, 카메라 각도, 미적 품질 지정 등)을 생성합니다.
• 멀티 모델 지원: Llama 3.2 Vision, Qwen, Gemini 2.0 Flash를 포함한 광범위한 로컬 및 API 기반 모델을 지원합니다.
• 스마트 합성: 콜라주 노드는 Florence-2를 사용하여 이미지 그리드를 생성할 때 지능적인 객체 인식 및 크로핑을 수행할 수 있습니다.
• 효율적인 리소스 관리: 모델 로딩 노드를 분할(JoyCaption2Split 등)하여 여러 노드 간에 모델을 공유하고 VRAM 사용량을 줄입니다.