0814wdwd/solo_jev

解決する課題

SOLO (System One Layout Optimizer) は、大規模なデータセットで意思決定モデルを実行する際の高いレイテンシと計算コストという課題に対処します。モデルが単一のトークン（意思決定）を返すだけであっても、入力レコード全体（ポリシー、コンテキスト、ユーザーデータ）を処理する必要があります。レコード間でコンテンツが重複している場合、元の順序で処理すると、同じプレフィックスを再計算することになり、計算リソースが無駄になります。SOLOは、行とフィールドを再構成して入力レイアウトを最適化し、プレフィックスキャッシュ対応バックエンド（vLLMなど）の再利用率を最大化することで、スループットを大幅に向上させ、プリフィル (prefill) 時間を短縮します。

仕組み

SOLOは、LLMベースの意思決定モデルにデータを送信する前にデータを再構成する、バックエンド非依存のプランナーとして機能します。

1. 正規化: すべてのフィールドと元の行IDを保持します。
2. レイアウト計画: データを分析し、最も小さな異なるプレフィックスの組み合わせを作成する列と行のグループ化を特定し、キャッシュヒットの可能性を最大化します。
3. 実行: 再構成されたレコードを並列クライアント経由でプレフィックスキャッシュ対応バックエンド（vLLMなど）に送信します。
4. 復元: 意思決定を受け取った後、出力を元の行順序とインデックスに復元します。

対象ユーザー

このツールは、レコードに重複するポリシー、アカウントコンテキスト、または相関フィールドが含まれており、プリフィル時間が総実行時間の大部分を占めるような構造化ワークロードを扱う開発者や研究者向けに設計されています。

ハイライト

• 大幅なスループット向上: 長い共有コンテキストを持つ合成ワークロードにおいて、元の順序と比較して最大11.7倍のスループット向上を実証しました。
• バックエンド非依存: このレイアウト最適化ツールは特定の推論エンジンから独立して動作しますが、プレフィックスキャッシュ対応バックエンド向けに最適化されています。
• 柔軟な入力サポート: Pandas DataFrames、NumPy arrays、JSON/JSONLファイル、およびネストされたオブジェクトをサポートしています。
• 統合された意思決定モデル: Qwen3.5-9Bをベースに構築されたオープンな意思決定モデルであるAutoTrust JEV-9Bのバックエンドが含まれています。
• 診断ツール: カラムのNDV（一意な値の数）とプレフィックスの組み合わせを通じてデータセット内の再利用可能な構造を診断する explain メソッドが含まれています。