GLM-5: 長期的なエージェント・エンジニアリングと複雑なシステム・タスクのためのフラッグシップLLMシリーズ
GLM-5: 長期的なエージェント・エンジニアリングと複雑なシステム・タスクのためのフラッグシップLLMシリーズ
何を解決するか
GLM-5は、複雑なシステム・エンジニアリングと長期的なエージェント・タスク向けに設計されたフラッグシップ大規模言語モデルのシリーズです。従来のモデルが、より多くの時間や反復を与えられた際にパフォーマンスが頭打ちになるという限界に対し、GLM-5は、数百回のツール呼び出しや数千回の反復を通じて、曖昧な問題を解決するために生産性を維持し続けることができます。
仕組み
このシリーズは、3つのバージョンを通じて進化します:
- GLM-5: パラメータ数を744B(アクティブは40B)までスケールさせ、DeepSeek Sparse Attention (DSA) を使用してデプロイコストを削減します。トレーニングのスループットを向上させるために、"slime"と呼ばれる新しい非同期RLインフラストラクチャを使用してトレーニングされました。
- GLM-5.1: エージェント・エンジニアリングとコーディングに焦点を当て、複雑な問題を分解し、実験を実行し、繰り返しの反復を通じて戦略を修正するモデルの能力を向上させています。
- GLM-5.2: 1Mトークンの堅牢なコンテキスト・ウィンドウを導入し、IndexShareと呼ばれる新しいアーキテクチャを採用しています。これは、スパース・アテンション・レイヤー間で同じインデクサーを再利用することで、長いコンテキスト長においてトークンあたりのFLOPsを2.9倍削減します。また、投機的デコーディング(speculative decoding)のための改良されたMTPレイヤーも備えています。
対象者
このプロジェクトは、自律型エージェント、複雑なソフトウェア・エンジニアリング・タスク、および大規模なコンテキスト(最大1Mトークン)の処理を必要とするアプリケーションに取り組む開発者や研究者向けです。
ハイライト
- 長期的な能力 (Long-Horizon Capability): 長期的な計画策定とリソース管理を必要とするタスクに特化して最適化されています。
- 1Mトークン・コンテキスト: GLM-5.2は、長期的な作業のための安定した大規模コンテキスト・ウィンドウを提供します。
- 柔軟な思考の負荷 (Flexible Thinking Effort): パフォーマンスとレイテンシのバランスをとるための
reasoning_effortパラメータ (maxまたはhigh) をサポートしています。 - 高性能コーディング: Terminal-Bench や SWE-bench Pro といったコーディング・ベンチマークにおいて、多くのオープンソース・モデルを凌駕しています。
Sources
- undefinedzai-org/GLM-5