mbzuai-oryx/groundingLMM

해결하는 문제

GLaMM은 대형 멀티모달 모델(LMM)이 정확하고 픽셀 수준의 시각적 그라운딩을 제공하는 데 있어 한계를 해결합니다. 이를 통해 모델은 이미지를 설명할 뿐만 아니라 자연어 응답에서 언급된 객체를 정확하게 식별하는 분할 마스크를 생성할 수 있습니다.

작동 방식

GLaMM은 이미지 수준과 관심 영역 입력을 모두 처리할 수 있는 엔드투엔드 학습된 멀티모달 모델입니다. 자연어 생성과 객체 분할 마스크를 통합하여 Grounded Conversation Generation(GCG)이라는 통합 작업을 수행할 수 있습니다. 이 프로세스를 통해 모델은 구문 그라운딩, 지시 표현 분할 및 비전-언어 대화를 단일 상호작용으로 결합할 수 있습니다.

대상 독자

컴퓨터 비전 및 자연어 처리를 연구하는 연구원과 개발자로, 세부적인 영역 수준 이해, 픽셀 수준 그라운딩 및 대화형 AI가 가능한 모델이 필요한 분들을 위합니다.

주요 특징

• Grounded Conversation Generation: 분할 마스크와 연결된 이미지 수준의 캡션을 생성하는 새로운 작업.
• GranD Dataset: 분할 마스크를 가진 8억 1천만 개의 영역에 기반한 750만 개의 고유한 개념을 특징으로 하는 대규모 데이터셋.
• 다양한 응용 프로그램: 지시 표현 분할, 영역 수준 캡셔닝 및 고품질 이미지 캡셔닝이 가능합니다.
• 다중 세분성 상호작용: 전체 이미지부터 특정 관심 영역까지 여러 수준의 상호작용을 지원합니다.