Yuliang-Liu/Monkey

해결하는 문제

Monkey는 고해상도 이미지와 상세한 텍스트 레이블의 중요성에 초점을 맞추어 AI의 이미지 이해 방식을 개선하기 위해 설계된 일련의 대형 멀티모달 모델 (LMMs)입니다. 이는 고해상도 이미지나 이미지 내 텍스트(OCR)와 같은 미세한 시각적 세부 정보를 처리하는 데 어려움을 겪는 많은 멀티모달 모델의 한계를 해결합니다.

작동 원리

이 프로젝트는 Monkey-Chat, TextMonkey, Mini-Monkey를 포함한 여러 모델 변형을 구현합니다. 이러한 모델은 기존 아키텍처(QwenVL, InternLM2, miniCPM 등)를 활용하고, 이미지 해상도 향상 및 토큰 압축 방법을 통해 이를 강화합니다. 이 프로젝트는 데이터 생성, 학습(파인튜닝 스크립트 사용), 추론을 위한 전체 파이프라인을 제공하여 모델이 고해상도 이미지를 처리하고 복잡한 시각적 질문에 답변할 수 있도록 합니다.

대상 사용자

멀티모달 AI를 연구하는 연구원 및 개발자, 특히 고해상도 이미지 이해, 문서 파싱, 시각적 질문 답변 (VQA)에 관심이 있는 분들에게 적합합니다.

주요 특징

• 고해상도 지원: 고해상도 이미지에 최적화되어 OCR 및 상세한 시각적 분석 작업의 정확도를 향상시킵니다.
• 모델 Zoo: 일반 대화용 Monkey-Chat, OCR 없는 문서 이해를 위한 TextMonkey, 다중 스케일 적응형 크로핑을 위한 Mini-Monkey 등 다양한 버전을 포함합니다.
• 포괄적인 도구: 학습 코드, 데이터 생성 파이프라인, 14개의 서로 다른 VQA 데이터셋에 대한 평가 스크립트를 제공합니다.
• 경쟁력 있는 성능: OpenCompass의 멀티모달 모델 카테고리에서 상위권에 랭크되었습니다.