zai-org/GLM-V

何を解決するか

GLM-V は、単なるマルチモーダル認識を越えて複雑な推論を実現するように設計された、複数の視覚言語モデル（VLM）のシリーズです。AIシステムが複雑な問題を正確に解決でき、長文の視覚的情報を理解し、デジタルインターフェースと対話できる知能的なマルチモーダルエージェントとして機能する必要性に対応しています。

動作方法

本プロジェクトは、高性能な GLM-4.6V (106B) と軽量版の GLM-4.6V-Flash (9B)、および推論に特化した GLM-4.1V-9B-Thinking などの複数のモデルバージョンを提供しています。これらのモデルは、Chain-of-Thought 推論メカニズムと Curriculum Sampling を用いた強化学習（RLCS）を活用し、精度と解釈可能性を向上させます。Hugging Face Transformers ライブラリに統合されており、SGLang、vLLM、Transformers を通じてデプロイが可能です。

対象ユーザー

マルチモーダルアプリケーション（GUIエージェント、デスクトップアシスタント、複雑なドキュメント解析や視覚的接地ツールなど）を開発・研究している開発者や研究者向けです。

主な特徴

• ネイティブなマルチモーダル関数呼び出し: 画像やスクリーンショットをテキストに変換せずに、直接ツールを使用可能。
• 画像とテキストの混合生成: マルチモーダルな文脈に基づき、テキストと視覚情報を統合した一貫性のあるコンテンツを生成。
• 視覚的接地: バウンディングボックスを用いて、画像内のオブジェクトを正確に特定・位置特定。
• マルチモーダルドキュメント理解: 最大 128K トークンの複数ドキュメント入力を処理し、レイアウト、チャート、表を画像として解釈。
• フロントエンドの再現: UIスクリーンショットからピクセル正確な HTML/CSS を再構築し、自然言語による編集をサポート。