geekyutao/Inpaint-Anything

해결하는 문제

Inpaint Anything은 이미지, 동영상, 3D 장면 내에서 객체를 제거하거나 채우거나 대체할 수 있는 통합 프레임워크를 제공합니다. 사용자가 클릭 또는 텍스트 프롬프트로 객체를 선택하고 생성형 AI 모델을 사용해 수정할 수 있도록 하여 시각 콘텐츠 편집 과정을 단순화합니다.

작동 방식

이 프로젝트는 여러 강력한 비전 모델을 통합하여 목표를 달성합니다:

• 세그멘테이션: 대상 객체를 분리하기 위해 Segment Anything Model (SAM)을 사용합니다.
• 제거: LaMa와 같은 인페인팅 모델을 사용해 제거된 객체가 남긴 공간을 채웁니다.
• 채우기/대체: Stable Diffusion (SDXL, FLUX.1-Fill)과 같은 텍스트 기반 모델을 사용해 사용자 텍스트 프롬프트에 기반한 새로운 콘텐츠를 생성합니다.
• 비디오/3D 확장: 동영상 및 3D 장면의 경우, OSTrack 또는 SAM 3 비디오 예측기와 같은 추적 모델을 사용해 프레임 또는 시점 간 객체 일관성을 유지한 후, 인페인팅 및 새로운 시점 합성(NeRF를 통해)을 수행합니다.

대상 사용자

이 도구는 시각 미디어에서 고품질의 객체 제거 또는 대체가 필요한 콘텐츠 크리에이터, 연구자, 개발자에게 적합합니다. 또한 인간의 손을 훈련 영상에서 제거하여 에고센트릭 데이터를 준비하는 데 사용할 수 있는 전용 도구도 포함되어 있습니다.

주요 특징

• 다중 모달 지원: 2D 이미지, 동영상, 3D 장면 모두에서 작동합니다.
• 유연한 선택 방식: 포인트 클릭 선택과 오픈 밸류 텍스트 프롬프트 모두 지원 (main_2026 브랜치).
• 로보틱스 응용: 인간에서 로봇으로의 합성 파이프라인을 위한 전용 remove_hands.py 스크립트 포함.
• 고해상도 지원: 2K 해상도와 다양한 비율을 지원합니다.