supermemoryai/memorybench

何を解決するか

MemoryBench は、標準化されたデータセットと判断モデルを使用して、異なるプロバイダー間で AI メモリおよびコンテキストシステムを評価・比較するための標準化された方法を提供します。異なるメモリプロバイダーを一括でテストする際の困難さを解消し、各新しいツールに対してカスタム評価コードを書く必要がなくなるようにします。

動作方法

このフレームワークは、メモリプロバイダー、ベンチマークデータセット、判断モデルを分離するプラグイン式パイプラインを使用しています。プロセスは以下のステップに従います：

1. インジェスト：ベンチマークセッションをプロバイダーに読み込みます。
2. インデックス：プロバイダーがデータをインデックス化するのを待ちます。
3. 検索：プロバイダーに関連するコンテキストを取得するクエリを実行します。
4. 回答：指定された LLM を使用して回答を生成します。
5. 評価：判断モデルが回答を正解と比較してスコアを付与します。
6. レポート：結果を集約して最終レポートを生成します。

チェックポイント機能により、失敗した実行を最後に成功したステージから再開でき、リアルタイムで失敗や質問を確認できる Web UI も搭載されています。

対象ユーザー

AI メモリシステムの開発・統合を行う開発者や研究者で、異なるプロバイダー間で精度、レイテンシ、トークン使用量を定量的に測定したい方を対象としています。

特徴

• 相互運用性のあるアーキテクチャ：サポートされている任意のプロバイダー、ベンチマークデータセット、判断モデルを自由に組み合わせられます（例：GPT-4o、Claude、Gemini）。
• マルチプロバイダー比較：複数のプロバイダーで同じベンチマークを同時に実行し、パフォーマンスを比較できます。
• MemScore：品質（正確性）、レイテンシ（ms）、コンテキストトークンを統合した複合指標で、パフォーマンスのトレードオフを明確にします。
• プラグイン設計：ユーザーは独自のベンチマーク、プロバイダー、判断モデルを簡単に追加できます。