zai-org/GLM-V

解决的问题

GLM-V 是一系列视觉语言模型 (VLMs)，旨在超越基础的多模态感知，向复杂推理、长上下文理解以及作为多模态智能体执行任务的能力迈进。它解决了“看到图像”与“基于视觉数据执行特定动作或解决复杂问题”之间的鸿沟。

工作原理

该项目提供具有不同能力的多个模型版本 (GLM-4.6V, GLM-4.5V, 和 GLM-4.1V)：

• GLM-4.6V 集成了原生函数调用，允许模型根据视觉输入（如屏幕截图）使用工具并生成图文交错的内容。
• GLM-4.5V 专注于现实世界的可用性，通过“思维模式 (Thinking Mode)”开关在图像、视频和文档理解的效率与深度推理之间取得平衡。
• GLM-4.1V-9B-Thinking 使用课程采样强化学习 (RLCS) 和思维链 (Chain-of-Thought) 推理机制，在较小的参数规模下提高准确性和可解释性。

适用对象

• 开发者：正在构建多模态智能体或 GUI 自动化工具的开发者。
• 研究人员：正在探索视觉语言推理和视觉语言模型强化学习的研究人员。
• 企业用户：需要高性能文档解析、UI 转代码复制以及视觉定位的企业用户。

亮点

• 原生多模态函数调用：通过将图像直接作为工具输入，连接感知与执行。
• 视觉定位：能够识别并为自然语言描述的对象提供精确的边界框。
• UI-to-Code：能够从 UI 截图重建像素级精确的 HTML/CSS。
• 长上下文支持：GLM-4.6V 支持高达 128K token 的多文档或长文档理解。
• 灵活部署：兼容 SGLang, vLLM 和 Transformers。