zjx0101/ObjectClear

해결하는 문제

ObjectClear는 이미지에서 객체를 제거할 때 그와 관련된 효과(그림자 또는 반사 등)도 함께 제거하고 배경의 일관성을 유지하는 문제를 해결합니다.

작동 방식

SDXL-Inpainting을 기반으로 하며, CLIP 이미지 인코더를 사용해 타겟 객체를 식별합니다. 모델은 적응형 타겟 인식 주의(Adaptive Target-Aware Attention)를 활용하여 객체와 관련 효과를 동시에 제거합니다. OBER (OBject-Effect Removal) 데이터셋으로 훈련되었으며, 카메라 촬영 데이터와 시뮬레이션 데이터의 하이브리드 데이터셋입니다. 사용자는 제거하고자 하는 객체의 세그멘테이션 마스크와 이미지를 제공하고, 모델은 깨끗한 배경을 생성합니다.

대상 사용자

이 도구는 이미지 편집, 컴퓨터 비전, 생성형 AI 분야에서 일하는 연구자 및 개발자에게 적합하며, 특히 객체 제거 및 인페인팅에 집중하는 사람들에게 유용합니다.

주요 특징

• 동시 제거: 타겟 객체와 관련된 시각적 효과를 동시에 제거합니다.
• 적응형 타겟 인식 주의: 제거 정확도를 향상시키기 위한 전용 주의 메커니즘입니다.
• OBER 데이터셋: 객체-효과 제거 연구를 위해 특별히 새로 공개된 하이브리드 데이터셋을 포함합니다.
• ReMOVE+ 메트릭: 제거된 영역과 주변 배경 간의 일관성을 더 잘 평가하기 위한 개선된 평가 메트릭을 도입합니다.