feder-cr/jev

解決する課題

Jev は、高速なローカル意思決定のために設計されています。ユーザーはテキストと一連の質問（はい/いいえ、多肢選択、またはスコアリング）を送信し、クラウドサービスや高価な GPU に頼ることなく、各回答の確率を即座に受け取ることができます。

仕組み

このプロジェクトは、ノートPCの CPU 上で動作する単一のバイナリを提供します。最適化されたモデル（OpenVINO int8 または GGUF 形式で利用可能）を使用してテキストを処理し、回答を返します。HTTP サーバーを介して TypeSafe Jev API を公開しており、1 つのテキストに対して複数の質問を 1 回のリクエストで行うことで、処理時間を最小限に抑えることができます。

対象ユーザー

データをローカルに保持し、トークンごとのコストを回避しながら、高速で自動化された分類や意思決定ロジックをアプリケーションに統合する必要がある開発者。

特徴

• CPU 最適化: 標準的なノートPCの CPU 上で動作し、応答時間は 28ms から 130ms です。
• 依存関係ゼロ: ランタイムに Python を必要としない単一のバイナリとして配布されます。
• 複数質問リクエスト: 同じテキストに対して複数の異なる質問（感情分析、ルーティング、ポリシーチェックなど）を一度のパスで処理できます。
• ローカルかつ無料: マシン上で完全に動作するため、クラウドコストやプライバシーの懸念を排除します。
• 大規模コンテキスト: 最大 8,192 トークンのコンテキストウィンドウをサポートします。