Phocinae/Phocinae-Largha-150M-v1

解決する課題

このモデルは、コマンドの承認、ツールの選択、出力のフィルタリングなどの構造化された意思決定を、大規模言語モデル（LLM）API にデータを送信する際の遅延、コスト、プライバシーの懸念なしに、高速でローカルかつ予測可能な方法で行うことを可能にします。

仕組み

これは、mmBERT-small アーキテクチャに基づく 1 億 4430 万パラメータの「型付き意思決定モデル」です。チャットボットとは異なり、テキストを生成しません。代わりに、state（コンテキスト）と一連の型付き質問（はい/いいえ、多肢選択、または 2〜10 のスコアリング）を提供します。単一のフォワードパスを実行して、正確な回答と信頼スコアを返します。CPU を含む独自のハードウェア上でローカルに実行するように設計されており、ゼロトークンを出力します。

対象ユーザー

自動化ワークフロー、承認ゲート、またはルーティングシステムを構築する開発者向けで、決定論的で低遅延の意思決定が必要な場合に適しています。決定が反復的で固定構造に従うシナリオに最適ですが、自由形式の会話や長文の作成には適していません。

ハイライト

• ゼロトークン出力： 構造化データ（ブール値、インデックス、整数）を直接返します。
• ローカルファースト： 完全に自分のマシンで実行されます。API 呼び出しなし、レート制限なし、データが環境外に出ることはありません。
• 高性能： 標準 CPU で毎秒 8〜20 の決定、GPU では決定あたり約 21 ミリ秒。
• バイリンガルサポート： 英語と中国語のデータセットでトレーニングされています。
• 決定ルーティング： コスト削減ゲートとして使用でき、不確実な決定のみをより大きく高価な LLM にエスカレーションします。