Yuliang-Liu/Monkey

解決する課題

Monkeyは、高解像度画像と詳細なテキストラベルの重要性に焦点を当てることで、AIの画像理解能力を向上させるために設計された一連の大型マルチモーダルモデル (LMMs) です。これは、高解像度画像や画像内のテキスト（OCR）のような微細な視覚的詳細の処理に苦戦する多くのマルチモーダルモデルの限界に対処します。

仕組み

このプロジェクトでは、Monkey-Chat、TextMonkey、Mini-Monkeyなど、いくつかのモデルバリエーションを実装しています。これらのモデルは既存のアーキテクチャ（QwenVL、InternLM2、miniCPMなど）を活用し、画像解像度の向上とトークン圧縮手法を通じてそれらを強化しています。このプロジェクトは、データ生成、トレーニング（ファインチューニングスクリプトによる）、および推論のための完全なパイプラインを提供し、モデルが高解像度画像を処理して複雑な視覚的質問に回答できるようにします。

対象読者

マルチモーダルAIに取り組む研究者や開発者、特に高解像度画像理解、ドキュメント解析、および視覚的質問応答 (VQA) に関心のある方に適しています。

ハイライト

• 高解像度サポート: 高解像度画像に特化して最適化されており、OCRや詳細な視覚分析などのタスクにおける精度を向上させます。
• モデルZoo: 一般的なチャット用のMonkey-Chat、OCR不要のドキュメント理解のためのTextMonkey、マルチスケール適応型クロッピングのためのMini-Monkeyなど、さまざまなバージョンが含まれています。
• 包括的なツール: トレーニングコード、データ生成パイプライン、および14種類の異なるVQAデータセットに対する評価スクリプトを提供します。
• 競争力のあるパフォーマンス: OpenCompassのマルチモーダルモデルカテゴリで上位にランクインしています。