bcmi/libcom

libcom – 이미지 합성을 위한 원스톱 툴박스

주요 기능

• 이미지 합성(전경 객체를 배경 이미지에 삽입하여 사실적으로 보이게 하는 작업)을 위한 즉시 사용 가능한 모델과 유틸리티를 포함하는 Python 라이브러리(import libcom)를 제공합니다.
• 전체 파이프라인 지원:
  1. 배치 (Placement) – OPAScoreModel / FOPAHeatMapModel이 객체의 최적 위치와 크기를 평가하고 제안합니다.
  2. 외관 매칭 (Appearance matching) – 색상 전송, 이미지 조화(PCTNet, LBM), 회화적 조화(PHDNet, PHDiffusion).
  3. 기하학적 및 의미론적 검사 (Geometry & semantics check) – FOSScoreModel이 기하학적/의미론적 호환성을 평가하며, InharmoniousLocalizationModel이 부조화 영역을 찾아냅니다.
  4. 그림자 및 반사 합성 (Shadow & reflection synthesis) – ShadowGenerationModel(GPSDiffusion) 및 ReflectionGenerationModel(RGDiffusion).
  5. 생성적 합성 (Generative composition) – KontextBlendingHarmonizationModel(Flux 기반) 및 OSInsertModel을 사용하여 포즈, 조명, 스타일을 조정하며 전경이 포함된 배경 이미지를 생성할 수 있습니다.
  6. 간단한 베이스라인 (Simple baseline) – get_composite_image를 통해 알파 블렌딩이나 푸아송 블렌딩을 사용한 간단한 복사-붙여넣기 기능을 제공합니다.

사용 방법

import libcom
# naive blend
result = libcom.get_composite_image(fg, bg, mask)
# evaluate placement
score = libcom.OPAScoreModel(bg, fg).predict()
# harmonise illumination
harmonised = libcom.ImageHarmonizationModel(bg, fg).run()
# generate shadow
shadowed = libcom.ShadowGenerationModel(bg, fg).run()

모든 모델은 공개된 연구 코드(예: PCTNet, LBM, PHDNet, GPSDiffusion)를 감싸는 가벼운 래퍼입니다. 라이브러리가 사전 학습된 가중치 다운로드, 전처리, Pillow/NumPy 이미지 반환을 자동으로 처리합니다.

중요성
이미지 합성은 사진 편집, AR/VR 콘텐츠 제작, 합성 데이터 생성 및 시각 효과의 핵심 기능입니다. 이전에는 각 하위 작업을 위해 개별 연구 구현을 일일이 연결해야 했습니다. libcom은 이를 일관된 API로 통합하여 실험 및 제품 통합 속도를 크게 향상시킵니다.

설치 및 플랫폼

• Linux, Python 3.10+, PyTorch ≥ 2.6이 필요합니다.
• PyPI를 통해 설치: pip install libcom (최초 사용 시 대용량 모델 파일을 다운로드합니다).
• 상세 문서, 튜토리얼 및 온라인 데모 워크벤치가 제공됩니다 (https://libcom.ustcnewly.com/).

커뮤니티 및 향후 계획

• Apache 2.0 라이선스로 오픈 소스화되었으며, 상하이 교통대학교의 Brain-like Computing and Machine Intelligence Lab (SJTU)에서 유지 관리합니다.
• 새로운 모델 기여 및 추론 가속화 관련 협업을 환영합니다.

---

TL;DR: libcom은 사실적인 객체 삽입의 모든 단계(배치 점수 산정, 색상/조명 조화, 그림자 및 반사 합성, 생성적 합성)를 위한 최신 모델을 통합한 Python 툴박스입니다. 몇 번의 함수 호출만으로 원본 전경-배경 쌍을 세련된 합성 이미지로 변환할 수 있습니다.