PostHog/jeeves

解決する課題

Jeevesは、キャリブレーションされた分類タスクによく使用されるものの精度が低いという「Jevスタイル」の意思決定モデルの限界に対処します。最終的な決定を下す前に推論ステップを組み込むことで、JeevesはJevやKevといった既存モデルと比較して、複雑なタスクやドメイン外のデータにおけるパフォーマンスを向上させます。

仕組み

JeevesはQwen3.5をベースにした9Bパラメータモデルで、教師あり微調整 (SFT) とCISPO（テスト時計算をスケーリングするためのトレーニング手法）を組み合わせて使用します。最終決定の前に生成された推論チェーンに基づいてオプションをスコアリングする「ポインターヘッド」を採用しています。このシステムには推論を高速化するための拡散ベースの「ドラフター」が含まれており、NVIDIA GPUおよびApple Siliconの両方でメモリ使用量を削減するためのFP8量子化をサポートしています。

対象ユーザー

このプロジェクトは、分類タスク（カスタマーサポートチケットの分類や感情スコアリングなど）のために高性能でキャリブレーションされた意思決定エンジンを必要とし、精度向上のためにテスト時推論を試したい開発者や研究者を対象としています。

ハイライト

• JevBenchおよびさまざまなホールドアウトテストデータセットにおいて、JevおよびKev-9Bを上回る性能を発揮します。
• イエス/ノー、多肢選択、スコアリングなど、単一のリクエスト内で複数の質問タイプをサポートします。
• 既存のJevスタイルの実装と互換性のあるドロップインPython SDKが含まれています。
• 推論速度を大幅に加速する拡散ベースのドラフターを搭載しています。
• FP8精度のサポートを含む、完全なトレーニング、評価、エクスポートパイプラインを提供します。