Flide 0.1.10 リリースノート: Jev形式の意思決定モデル向け高速推論

Flideは、Jev形式の意思決定モデルに特化して最適化された推論インフラストラクチャです。「正確な状態フォーク（exact state forking）」と呼ばれる技術を実装することで、エンジンはレイテンシを大幅に削減し、vLLMやSGLangといった標準的なエンジンと比較して最大9.5倍の推論速度を実現しつつ、出力の正確性を維持しています。

コア技術: 正確な状態フォーク

Flideにおける主なパフォーマンス向上は、単一の入力状態から派生する複数の質問を処理するアプローチによるものです。従来のLLM推論エンジンでは、共有された入力データの繰り返し処理がボトルネックとなっていました。Flideは、共有入力を一度だけ計算し、その後状態をフォークして単一のフォワードパスで複数の質問に回答することで、これを最適化しています。このアーキテクチャは、単一のコンテキスト（例：カスタマーサポートのチケットやデータログ）に対して複数の異なる分類やアクションが必要となる意思決定タスクにおいて特に効果的です。

パフォーマンスと互換性

FlideはJevの /v1/systemone APIを提供するように設計されており、既存のJev形式のワークフローをそのまま置き換えることが可能です。このエンジンは、以下を含む幅広い意思決定モデルをサポートしています。

  • モデルファミリー: OneJev、Qwen3.5、Gemma 4、およびAinvest-Decision、KnowLine、Perplexityのdeciderといった様々な専門的な意思決定モデルをサポート。
  • ハードウェア効率: このエンジンは最新のGPUでのスループットを最大化するように構築されており、Ada、Hopper、BlackwellアーキテクチャでのFP8量子化に特化した最適化が行われています。
  • ベンチマーク: パフォーマンスの向上幅はモデルやワークロードによって異なります。例えば、一部のモデルでは緩やかな改善が見られる一方で、複雑なMultiRCやQuALITYタスクを処理するモデルなどでは、ベースラインエンジンと比較して9倍を超える高速化が実証されています。

はじめに

FlideはPyPIから入手可能で、uv または pip を使用してインストールできます。このエンジンはモデルをサービングするためのCLIを提供しており、ローカル開発環境や本番環境へのデプロイプロセスを簡素化します。

uv venv -p 3.12 && source .venv/bin/activate
uv pip install flide torchvision
flide serve --model OmniJev/OneJev1.6-0.8B

サーバーが起動すると、/v1/systemone エンドポイントは共有状態と複数の質問を含むJSONペイロードを受け入れ、エンジンが最適化されたフォークロジックを実行できるようになります。

設定オプション

Flideには、特定のハードウェアやユースケースに合わせてパフォーマンスを調整するためのいくつかのフラグが含まれています。

  • --session-cache-gb: 前のリクエスト状態をキャッシュし、連続するエージェントステップの再計算を最小限に抑えます。
  • --batch-invariant: バッチ処理に関係なく決定論的な出力を保証し、速度と引き換えに一貫性を優先します。
  • --frontends: HTTP、レンダリング、トークン化を別々のプロセスにオフロードし、より高いクライアント同時実行数を処理します。

コミュニティの知見

Flideを試している開発者は、単一の入力が複数の意思決定ベースのクエリをトリガーするデータセットにおいて、このエンジンの有用性を指摘しています。メンテナは、単一の質問のシナリオであっても、入力長やモデルアーキテクチャによっては最大3倍の速度向上が見込めると強調しています。基礎となる研究に興味がある方は、チームが発表した論文 "Flide: Accelerating Decision Inference with Exact State Forking" (arXiv:2610.42148) を参照してください。

Sources