InternScience/Agents-A1

解決する課題

Agents-A1は、膨大なパラメータ数を必要とせずに、最先端レベルのAIパフォーマンス（数兆パラメータ規模のモデルに匹敵）を達成するという課題に取り組んでいます。本プロジェクトは「エージェント・ホライゾンのスケーリング」、つまりモデルの長期的な軌跡の処理能力と多様な専門能力の向上に焦点を当て、35Bパラメータのモデルが複雑な多段階タスクにおいて、より大規模なシステムに対抗できるようにすることを目指しています。

仕組み

このプロジェクトは、以下の3段階のプロセスを通じてトレーニングされた35B Mixture-of-Experts (MoE) アーキテクチャを利用しています：

1. Full-domain SFT: ベースモデルを一般的なエージェント動作に適合させます。
2. Domain-level Teacher Training: 特定の専門領域に対して特化した教師モデルを作成します。
3. Multi-teacher Distillation: 顕著な語彙アライメントを伴うドメイン・ルーティング・オンポリシー蒸留を使用し、6つの異種ドメインを単一の生徒モデルに統合します。

これをサポートするために、チームは外部知識、アクション、および観測を接続する知識・アクション・インフラストラクチャを構築し、モデルが平均45Kトークンの軌跡でトレーニングできるようにしました。

対象者

• 開発者および企業: 高性能なエージェントモデルをアプリケーションに統合したいと考えている方。
• AI研究者: エージェント・ホライゾンのスケーリングや、蒸留による効率的な知識転送に関心がある方。
• ローカルAI愛好家: Macなどのハードウェアでのローカルデプロイ用に、4Bバージョンや量子化バリアントを活用できる方。

ハイライト

• エージェント推論: 複雑なタスクを実行可能なサブステップに分解し、結果に基づいて戦略を適応させることが可能です。
• ツール統合: 関数呼び出し、API、コードインタープリタ、および検索エンジンをネイティブにサポートしています。
• ロングコンテキスト処理: 長い会話やドキュメントに対して強力な一貫性と想起能力を備えています。
• 高い効率性: 35Bパラメータクラスを維持しながら、最先端モデル（GPT-5.5など）に対して競争力のあるパフォーマンスを発揮します。