zai-org/GLM-V

解決する課題

GLM-Vは、基本的なマルチモーダル知覚を超え、複雑な推論、長文脈の理解、およびマルチモーダルエージェントとしての動作を目指して設計された一連の視覚言語モデル（VLMs）です。画像を見ることから、視覚データに基づいて特定の動作を実行したり複雑な問題を解決したりすることの間にあるギャップを埋えます。

仕組み

このプロジェクトは、異なる能力を持ついくつかのモデルバージョン（GLM-4.6V, GLM-4.5V, GLM-4.1V）を提供しています：

• GLM-4.6V はネイティブな関数呼び出しを統合しており、視覚入力（スクリーンショットなど）に基づいてツールを使用し、画像とテキストが混在したコンテンツを生成できます。
• GLM-4.5V は、画像、ビデオ、ドキュメントの理解において速度と深い推論のバランスをとるための「Thinking Mode」スイッチを備え、実世界でのユーザビリティに焦点を当てています。
• GLM-4.1V-9B-Thinking は、Curriculum Samplingを用いた強化学習（RLCS）とChain-of-Thought推論メカニズムを使用し、より小さなパラメータスケールで精度と解釈性を向上させます。

対象者

• 開発者: マルチモーダルエージェントやGUI自動化ツールを構築している方。
• 研究者: VLMの視覚言語推論や強化学習を探索している方。
• エンタープライズユーザー: 高性能なドキュメント解析、UIからコードへの複製、およびビジュアルグラウンディングを必要とする方。

ハイライト

• ネイティブなマルチモーダル関数呼び出し: 画像を直接ツールの入力として渡すことで、知覚と実行を橋渡しします。
• ビジュアルグラウンディング: 自然言語で記述されたオブジェクトを特定し、正確なバウンディングボックスを提供できます。
• UI-to-Code: UIスクリーンショットからピクセル単位で正確なHTML/CSSを再構築できます。
• 長文脈サポート: GLM-4.6Vは、マルチドキュメントまたは長文ドキュメントの理解のために最大128Kトークンをサポートしています。
• 柔軟なデプロイ: SGLang, vLLM, および Transformers と互換性があります。