BotPsy-0.8B: Tether AIのオンデバイスエージェントモデル、Qwen3.5ベース
要約: Tether AI Researchは、オンデバイスでのツール使用を目的とした、Qwen3.5-0.8Bをベースにした0.8Bパラメータのエージェント言語モデル、BotPsy-0.8Bを発表しました。このモデルは、ベースモデルのエージェントベンチマークスコアを約2倍にし、実験室がテストした1.2Bパラメータまでのすべてのモデルを上回り、低〜中難易度のタスクにおいて、専門特化したローカルエージェントがフロンティアクラウドモデルに代わる実用的な選択肢となります。
BotPsy-0.8Bとは
BotPsy-0.8Bは、関数呼び出しとエージェントワークフロー向けに設計された、10億パラメータ未満の言語モデルです。Tether AI ResearchはこれをQwen3.5-0.8B上に構築し、ウェブ検索とリサーチ、旅行とライフスタイル、コマースとファイナンス、ビジネスとカスタマーオペレーション、デバイスと車両制御、ファイルとドキュメント、カレンダー、メールとメッセージングなどのタスクにツールを使用する「パーソナルアシスタント」として位置づけています。
このモデルはオンデバイス展開を目的としています。Tether AI Researchは、フロンティアクラウドLLMは運用コストが高く変動しやすく、プロバイダーによって変更や廃止の可能性があり、ワークフローのカスタマイズが限定的で、プライバシーとデータ管理のリスクを生むと主張しています。また、すべてのタスクにフロンティアレベルの知能が必要なわけではなく、小型で専門特化したエージェントは、特定のタスクにおいてより安価で同等の能力を発揮できると述べています。
パラメータ数のため、BotPsy-0.8Bは低〜中難易度のタスクに最適です。Tether AI Researchは、このモデルはまだ誤りを犯す可能性があり、ハイステークスな用途を意図していないと明言しています。
ベンチマーク結果: 1.2Bパラメータ以下で最先端
Tether AI Researchによると、BotPsy-0.8Bは、そのサイズにおいてツール使用とエージェント性能で最先端を達成しています。実験室がテストした1.2Bパラメータまでのすべてのモデルを、6つのツール使用およびエージェントベンチマーク（BFCL v4、ACEBench、τ-bench、ToolSandbox、Claw-Eval、BrowseComp-Plus）すべてで上回っています。
ベースモデルのQwen3.5-0.8Bと比較すると、BotPsy-0.8Bは主要ベンチマークでエージェント能力を約2倍にしています: BFCL v4は23.4から44.0へ、ACEBenchは30.1から58.7へ、τ-benchは23.2から51.5へ。6ベンチマークの加重なし平均は45.0で、ベースモデルの24.7、Qwen3.5-2B-Thinkの38.8、LFM2.5-1.2B-Thinkの25.3、MiniCPM5-1B-Thinkの22.7と比較されます。
| ベンチマーク | BotPsy-0.8B | Qwen3.5-0.8B-Thinkベース | Qwen3.5-2B-Think | LFM2.5-1.2B-Think | MiniCPM5-1B-Think |
|---|---|---|---|---|---|
| BFCL v4 | 44.0 | 23.4 | 37.7 | 28.1 | 22.8 |
| ACEBench | 58.7 | 30.1 | 55.4 | 39.4 | 24.5 |
| τ-bench | 51.5 | 23.2 | 46.5 | 6.5 | 28.8 |
| Claw-Eval | 46.5 | 39.3 | 48.9 | 31.6 | 31.0 |
| BrowseComp-Plus | 4.5 | 1.9 | 2.8 | 0.2 | 0.8 |
| ToolSandbox | 64.6 | 30.5 | 41.2 | 45.7 | 28.1 |
| 平均 | 45.0 | 24.7 | 38.8 | 25.3 | 22.7 |
BotPsy-0.8Bはまた、2.5倍のサイズのモデルであるQwen3.5-2B-Thinkを、6つのベンチマークのうち5つで上回っています: BFCL v4（44.0対37.7）、ACEBench（58.7対55.4）、τ-bench（51.5対46.5）、ToolSandbox（64.6対41.2）、BrowseComp-Plus（4.5対2.8）。Claw-Evalでのみ、Qwen3.5-2B-Thinkが48.9対46.5でリードしています。
マルチターンワークフローとツール呼び出しの信頼性
最も大きな相対的向上は、マルチターンでステートフルなインタラクションにあります。BFCL v4のマルチターンタスクでは、BotPsy-0.8Bはベースモデルの7.5から46.1へ上昇し、Qwen3.5-2B-Thinkの23.8のほぼ2倍です。ACEBench Agentでは、7.9から28.3へ上昇し、Qwen3.5-2B-Thinkの16.2と比較されます。
厳格なポリシー下での長いカスタマー会話をテストするτ²-benchでは、BotPsy-0.8Bは小売で67.8（ベースは33.9）、通信で82.5（Qwen3.5-2B-Thinkは69.3、MiniCPM5-1B-Thinkは74.0）を記録しています。投稿に示された5つのマルチターンベンチマークのうち4つでリードしています。τ³-bench銀行では、どのモデルも5を超えず、BotPsy-0.8Bは4.1でベースから変わらず、Qwen3.5-2B-Thinkは4.8です。
BotPsy-0.8Bは、ツールを呼び出すべきでないタイミングを認識するようにも設計されています。適切なツールが存在しない場合にモデルが辞退するかどうかをチェックするBFCL v4ハルシネーションテストでは、86.1を記録し、テストされたすべてのモデルの中で最高です。不完全なリクエスト、誤ったパラメータ、利用できないツールを含むACEBenchの特殊ケースでは、ベースモデルの13.7から51.3へ上昇しましたが、Qwen3.5-2B-Thinkは58.0でリードしています。
知識と指示追従
投稿によると、ツール使用トレーニングは一般的な知識を犠牲にしていません。GPQA Diamondはベースモデルの33.2からBotPsy-0.8Bの38.1へ、MMLU-Proは41.6から48.9へ上昇しました。どちらもテストされた1.2Bパラメータ以下のモデルの中で最高スコアです。知識は依然として主にパラメータ数に応じてスケールします: Qwen3.5-2B-ThinkはGPQA Diamondで59.9、MMLU-Proで65.5を記録しています。したがって、Tether AI ResearchはBotPsy-0.8Bを、知らない事実についてはツールを呼び出すように設計されたモデルであり、知識モデルではないと説明しています。
指示追従は大幅に向上します。IFEvalは59.7から90.8へ、IFBenchは22.0から55.9へ上昇し、テストされたすべてのモデルの中で最高のIFBenchスコアです。8言語での3ターンにわたる指示追従をテストするMulti-IFでは、BotPsy-0.8Bは67.2で、Qwen3.5-2B-Thinkの66.9やLFM2.5-1.2B-Thinkの68.2と同等です。ターン1では84.3と最も強いスタートですが、指示が蓄積されるにつれて低下が速く、ターン3では51.0に達し、それらの2つのモデルは56.5と56.2です。
低リソース言語は依然として弱点です。ヒンディー語は24.5、ロシア語は57.6で、英語、中国語、フランス語、スペイン語、イタリア語、ポルトガル語で達成された72〜80の範囲をはるかに下回ります。
安全性と推論効率
6つの害カテゴリにわたる自動レッドチーミングでは、BotPsy-0.8Bは不安全な応答を21%の確率で生成し、ベースモデルの36%と比較されます。これはテストされた1.2Bパラメータ以下のモデルの中で最も低い不安全率です: LFM2.5-1.2B-Thinkは35%、MiniCPM5-1B-Thinkは47%です。信頼できないツール出力を読み取るエージェントにとって重要なプロンプトインジェクション攻撃では、不安全率はベースモデルの46%からBotPsy-0.8Bの31%に低下します。
BotPsy-0.8Bはまた、より少ない推論で正しい回答に到達します。5つのモデルすべてが正しく回答する質問では、GPQA Diamondでベースモデルよりも約3倍少ない推論トークンを使用し（3,690対11,563）、MMLU-Proでは2.7倍少ない（1,912対5,105）です。すべてのIFBench試行において、反復的な推論ループに陥る率は22.9%から1.4%に低下し、32kトークン制限に達する実行は28.3%から0.2%に低下します。Tether AI Researchは、より短く、より決断的な推論により、オンデバイスでのレイテンシが低下するはずだと述べています。
マルチターンエージェントタスクでは、BotPsy-0.8Bは、5つのモデルすべてが解決するτ²-benchタスクでベースよりも少ないアシスタントターンで済みます。τ²-retailでは10.7ターン（ベースは11.7、9%減）、τ²-telecomでは13.1ターン（ベースは17.6、26%減）です。これは、ベースモデルの2.0倍の小売タスクと2.6倍の通信タスクを通過しながら達成されます。
トレーニング方法論: 4つのステージと3つのフィードバックシグナル
BotPsy-0.8Bは、教師ありファインチューニング、マルチティーチャーオンポリシー蒸留、および2ラウンドの強化学習の4つの連続したステージでポストトレーニングされています。各ステージは前のステージの最良チェックポイントから開始し、異なる学習シグナルを使用します: デモンストレーション、専門家ティーチャーのトークン分布、およびルールベースのツール呼び出し報酬。
最初のステージは、ツール使用会話に対するフルパラメータの教師ありファインチューニングで、シミュレートされた環境からのマルチターンエージェント軌跡、リプレイされた単一、並列、マルチステップ呼び出し、およびツールを呼び出すべきでないケースが含まれます。2番目のステージはオンポリシー蒸留を使用します: 学生が自身の応答を生成し、専門家ティーチャーがトークンごとの逆KLダイバージェンスを使用してすべてのトークンにフィードバックを提供します。ティーチャーは、ツール使用、一般的な推論、指示追従のために別々にRLトレーニングされた3つのQwen3.5-4Bモデルです。各プロンプトは1つのティーチャーにルーティングされます。このステージは主に、教師ありファインチューニング中に低下した知識と指示追従を回復し、ツール使用メトリクスも向上します。
最後の2つのステージは、DAPOを使用した強化学習で、ルールと検証者によって計算された報酬からのみ学習します。最初のRLラウンドは、ツール呼び出しに焦点を当て、指示追従とSTEM多肢選択問題も含みます。そのツール呼び出し報酬は、まず推論とツール呼び出し形式をチェックし、次に予測されたツール名、引数名、引数値をグラウンドトゥルースと照合して細かい部分点を与えます。これはTool-N1のバイナリ正解報酬ではなく、ToolRLの精神に沿っています。2番目のRLラウンドは、数学、コード、知識問題、指示追従、構造化出力、シミュレートされた職場環境でのマルチステップツール使用など、一般的なドメインの検証可能なタスクにミックスを広げます。そのミックスにはマルチターン会話は含まれていませんが、マルチターン関数呼び出しがさらに改善されます。
展開、ライセンス、および制限
投稿によると、BotPsy-0.8Bは研究および教育目的のためにApache 2.0ライセンスの下でオープンウェイトとしてリリースされます。bf16、Q8、Q4の3つの精度で、Hugging Face safetensorsおよびQVAC SDKとllama.cpp用のGGUFファイルとして利用可能になります。
BotPsy-0.8Bは主に英語でトレーニングおよびテストされており、英語が推奨言語です。低〜中難易度のタスクに最適であり、安全クリティカルまたはハイステークスな自動決定、またはお金、個人情報、健康、その他の機密トピックを含むアプリケーションを意図していません。
その弱点には、オープンエンドな検索と、Qwen3.5-2B-Thinkがまだリードするいくつかの領域が含まれます。BrowseComp-Plusは4.5で、5つのモデルの中で最良ですが、絶対的には低いです。BFCLウェブ検索では14.0、メモリでは16.3で、Qwen3.5-2B-Thinkの19.8と26.1に及びません。Claw-Evalではベースから改善（46.5対39.3）していますが、Qwen3.5-2B-Thinkの48.9を下回っています。マルチステップ情報検索が最も明確な弱点です: 複雑な情報検索およびリサーチシナリオは15で、そのグループの単一呼び出しの79と比較されます。
より広いビジョン
Tether AI Researchは、将来の開発により、より多くのハードウェアとローカルサービスにわたってオンデバイスエージェント機能を拡張すると述べています。計画されている作業には、TetherのHypersearchのためのより堅牢な分散型ピアツーピアクエリ、QVAC Fabricによる最適化されたローカルファインチューニング、オフラインからオンラインへの移行中にスマートフォンからホームPCまたは信頼できるセキュアなP2Pノードへの重い計算の委任、より強力なプライバシープロトコル、信頼できるローカルネットワーク全体でのセキュアなエージェント間通信が含まれます。
リリースの意味
BotPsy-0.8Bは、10億パラメータ未満のモデルが、一般的な知識と指示追従を維持しながら、ツール使用とエージェントワークフローに特化できることを示しています。そのベンチマークプロファイル（ベースモデルのエージェントスコアの約2倍、1.2Bパラメータまでのモデル間でのリーダーシップ、6つのエージェントベンチマークのうち5つで2.5倍大きい兄弟モデルに対する競争力のある結果）は、多くの日常的なアシスタントタスクがフロンティアクラウドAPIではなくローカルで実行できるという議論を支持しています。トレードオフも同様に明確です: 弱いオープンエンド検索、低リソース言語のギャップ、およびタスク難易度の明示された上限。