TheoLeeCJ/SemIf

解決する課題

SemIf は、完全なテキスト応答の生成のオーバーヘッドを回避することで、AIエージェントが小さな型付きの決定（リクエストのルーティングや操作の再試行など）をより高速かつ効率的に行うための方法を提供します。モデルに「はい」または「いいえ」を生成させ、そのテキストをパースするのではなく、SemIf はモデルの内部状態（logits）から特定の選択肢の確率を直接読み取り、デコードループやJSON修復の必要を排除します。

動作方法

SemIf は「決定ネイティブ」アプローチを採用しており、条件と選択肢を1回のリクエストでモデルに提供します。システムはトークンのサンプリングではなく、ネイティブな選択肢のlogitsを読み取ることで、提供された選択肢の確率を決定します。また、「共有状態認識」もサポートしており、一度だけ長期間のコンテキスト（状態）を事前読み込みし、複数の異なる決定条件に対して並列で分岐させることで、処理速度を大幅に向上させます。

対象ユーザー

非構造化状態に基づいて高速で構造化された決定を必要とするAIエージェントを開発している開発者、およびQwenやMiniCPMなどのオープンソースモデルを、消費向けハードウェア（例：RTX 3090）でセマンティック決定パターンを実装したい開発者。

特徴

• 直接的なlogits読み取り: トークン生成を完全に回避し、自己回帰的JSON生成と比較して、決定時間の大幅な高速化を実現。
• 共有状態の再利用: 状態を一度だけ事前読み込みすることで、複数の条件を並列で評価可能となり、1秒あたりの決定数を劇的に増加。
• ブラウザベース実行: WebGPUデモを含み、ユーザーがブラウザ内でモデルを直接実行可能。
• 検証可能なベンチマーク: Jevなどの閉鎖型サービスと比較した、性能と精度の包括的な結果を提供。