Accio-Lab/occamy

解決する課題

Occamy-1.0は、現実世界の共同作業のために構築されたコンパクトなAIモデルです。これには、多くのステップにまたがり、ツール、ファイル、検索、構造化されたAPIを伴い、長時間のセッションを通じて一貫性を保つ必要があるタスクが含まれます。単に質問に答えるだけでなく、信頼性の高い実行、状態の追跡、エラーからの復旧、そしてタスクの完遂に重点を置いています。

仕組み

このモデルは既存のチェックポイント (Qwen3.6-35B-A3B) から開始し、エージェントによる共同作業に特化して追加学習されています。Mixture-of-Experts設計を採用しており、総パラメータ数は35Bですが、呼び出しごとのアクティブパラメータ数は3Bであるため、長時間実行されるワークロードに対して効率的です。学習には、持続的な実行のための専門モデルと、一般的な能力を維持するための専門モデルの2つを使用し、それらを統合して微調整を行いました。すべての学習データは、観測可能な結果が得られる実行環境から取得されています。このモデルは長いコンテキスト（最大262,144トークン）をサポートしており、SGLangやvLLMなどの標準的なツールを使用して提供可能です。

対象ユーザー

マルチステップの専門的なワークフローを処理し、ツールを使用し、コードを記述し、ファイルやAPIと対話できるモデルを必要とするエージェントシステムを構築する開発者や研究者向けです。また、コンパクトな推論フットプリントを持つオープンモデルを求める方にも適しています。

ハイライト

• 共同作業に特化：ツール、ファイル、APIにまたがる長期間のステートフルなタスク。
• コンパクトな推論：総パラメータ数35B、アクティブパラメータ数3Bで、長時間の実行に効率的。
• 共同作業のベンチマークで強力なパフォーマンスを発揮し、ベースモデルや他の同等のモデルを凌駕。
• オープンな学習スタック (Dressage) と複数の量子化済みチェックポイントが利用可能。