Yuliang-Liu/Monkey

解决的问题

Monkey 是一系列大型多模态模型 (LMMs)，旨在改善 AI 理解图像的方式，特别是通过强调高图像分辨率和详细文本标签的重要性。它解决了许多多模态模型在处理高分辨率图像和细粒度视觉细节（例如图像中的文本，即 OCR）时面临的局限性。

运作原理

该项目实现了多种模型变体，包括 Monkey-Chat、TextMonkey 和 Mini-Monkey。这些模型利用现有的架构（如 QwenVL、InternLM2 和 miniCPM），并通过图像分辨率增强和 Token 压缩方法进行改进。该项目提供了一套完整的数据生成、训练（通过微调脚本）和推理流程，使模型能够处理高分辨率图像并回答复杂的视觉问题。

适用对象

从事多模态 AI 研究的研究人员和开发者，特别是那些对高分辨率图像理解、文档解析和视觉问答 (VQA) 感兴趣的人士。

特色亮点

• 高分辨率支持：专门针对高分辨率图像进行优化，以提高 OCR 和详细视觉分析等任务的准确性。
• 模型库 (Model Zoo)：包含多种版本，例如用于通用对话的 Monkey-Chat、用于无 OCR 文档理解的 TextMonkey，以及用于多尺度自适应裁剪的 Mini-Monkey。
• 全面的工具集：提供训练代码、数据生成流程以及针对 14 个不同 VQA 数据集的评估脚本。
• 具竞争力的性能：在 OpenCompass 的多模态模型类别中排名靠前。