Kapso: Leerooのエンタープライズデータからの反復学習のためのオープンソースエンジン

LeerooはKapsoをオープンソース化しました。これは、エンタープライズデータに対して実験を実行し、最適なソリューションをターゲットスタックにデプロイし、毎回の実行から学んだ教訓をgitバックアップされたレッスンバンクに更新するエンジンです。このプロジェクトが重要なのは、エンタープライズデータの作業を、一度きりのRAGや事前のオントロジー演習ではなく、環境固有の学習ループとして扱うからです。

Kapsoの機能

Kapsoは反復的なデータおよびAI作業のために設計されています:システムを調査し、仮説を立て、実験を実行し、結果を検証し、その学習を次の実験に持ち越します。Leerooは、このボトムアップのプロセスが、大規模で複雑なエンタープライズデータ環境において必要であると主張しています。そこでは、会議でコンテキストを収集するコンサルタントや、事前にビジネスオントロジーを定義するチームが、四半期や年単位で実行できないことがよくあります。

著者らは、あるエンタープライズプロジェクトについて説明しています。そのプロジェクトでは、30以上のソースシステムファミリー、数千のテーブルと変換、数百のBIレポートを持つレイクハウスに、古いデータ基盤から企業を移行させました。個人もAIエージェントも、その基盤がどのように接続され、運用されているかを知りませんでした。それを学ぶ唯一の方法は、リポジトリ、dbtモデル、ドキュメント、そしてデータ自体を調査し、仮説を提案し、実験を実行し、結果から学ぶことでした。

Kapsoはそのループを自動化することを目的としています。ユーザーはKapsoに目的と成功基準を与え、システムはユーザーのスタックにデプロイできる最適なソリューションに向けて作業します。

レッスンバンクと実験ループ

Kapsoの核心的なメカニズムは、過去の実験から誘導または推定されたレッスンのバンクです。各レッスンには、信頼度スコア、適用条件を説明する条件、およびその背後にある証拠が含まれています。

新しい実験ごとに、アイデア生成モジュールが以前のレッスンを使用してアイデアを提案し、各アイデアが使用する予算に対する期待リターンで再ランク付けし、上位のアイデアを実装者に送信します。バンクがその環境での過去の実験から学習し続けるため、Kapsoの提案するアイデアは、LLMやRAGからの一般的な仮説よりも、その環境に適していることを意図しています。

各実行後、learn()ステップが、その実行からの証拠を使用してレッスンバンクのスコアと境界を更新します。バンクへの変更は、以前のバンクと更新されたバンクでそれ以外は同一のビルドを実行することで、A/Bテストすることもできます。

検証と進化する成功基準

Kapsoは、実験がアクセスしたり不正したりできない検証モジュールを通じて実験結果を検証します。システムはまた、成功基準と評価テストが進化することを可能にします:実験モジュールはメトリクスと基準の更新を提案でき、検証者はそれらの更新を承認または拒否します。

これは重要です。なぜなら、Leerooが指摘するように、システムが環境についてより多くを学ぶにつれて、成功基準と評価テストは時々変更する必要があるからです。

gitバックアップされた経験、CLI、およびハーネス

レッスンバンクはgit上に構築されています。ユーザーは他の人と経験を共有し、利用可能なバンクを一覧表示し、CLIコマンドでそれらを更新できます:

  • kapso experience share
  • kapso experience list
  • kapso experience update

Kapsoはモデル非依存であり、コーディングエージェント非依存です。すべてのドメインには、開始するためのハーネスがあります。ユーザーは、プラグインの/kapso:harnessまたはCLIコマンドkapso harness new <name>を使用して独自のドメインハーネスを作成し、実験を実行することでそのハーネス上で学習を複合化できます。

ターゲットスタックへのデプロイ

Kapsoはkapso.deploy(solution, target_stack)でソリューションをデプロイします。デプロイワークフローは、最適なソリューションをターゲットスタックに適応させるために、より短い実験ループを実行します。Leerooは、ターゲットスタックの例としてDocker、Modal、BentoCloud、LangGraphを挙げています。

Leerooが報告したベンチマーク結果

Leerooは、公開ベンチマークとライブコンペティションでの結果を報告しています。これらは著者らが報告した結果であり、ソース資料で独立に検証されたものではありません。

RelBench

Kapsoは、Kumo AI(現在はNvidia)とStanfordに関連するベンチマークであるRelBenchで1位を獲得しました。Leerooは、これがハーネスレベルで学習を維持することが基礎的なテーブルモデルを打ち負かすことができ、レッスンのバンクを更新するコストが表形式の基盤モデルを再トレーニングするよりもはるかに低いことを示していると述べています。

MLE-bench

Kapsoは、提出時にOpenAIのMLE-benchで1位を獲得し、Leerooによると、トップのオープンソースシステムの中に残っています。

ALE-Benchと国際AIオリンピック2026

Leerooによると、KapsoはSakana AIのALE-Bench著者らによって報告された最良のエージェントよりも進んでいました。また、ライブの国際AIオリンピック2026で自律的に実行され、Leerooは471人の人間の競技者全員を上回り、トップ3のAIシステムに入ったと報告しています。

Leeroopedia公開レッスンバンク

Leerooは、MLとデータのための公開バンクであるLeeroopediaを維持しています。そこには、論文やリポジトリで実験することによって抽出された約10万ページが含まれています。Leeroopediaは月に約600万リクエストを受け取っており、その約28%はAIエージェントからのものです。

コミュニティフィードバック

RelArenaでの独立したハイパーパラメータチューニング結果

RelFlow(オープンソースのモデルファクトリー)のコメンテーターが、RelArenaでのハイパーパラメータ最適化ループを支援するためにKapsoを使用したと報告しました。RelArenaはRelBenchに似ていますが、現代のベンチマークを汚染するデータリークを隔離するためにPrior Labsによって維持および規制されています。

こちら(https://relflow.ai、OSSモデルファクトリー)では、Kapsoを使用してRelArenaでのHPOループを支援しました。RelArenaはRelBenchに似ていますが、現代のベンチマークを汚染するデータリークを隔離するためにPrior Labsによって維持および規制されています。Kapsoは、21の構造化データモデリングタスクでRelflowのハイパーパラメータを効率的に調整することができ、ICLを使用せず、TabPFNのパラメータ数の約1%を使用しながら、大規模なデータモデリングタスクの大部分でTabPFNを上回ることができました。

WhatsApp統合サービスとの名前の衝突

あるコメンテーターは、かなり人気のあるサービスがすでにKapsoという名前を使用してWhatsAppを他の製品に統合していると指摘しました。2つのプロジェクトは無関係です。

参考までに、名前を再考することをお勧めします。すでにKapso [1]という名前のかなり人気のあるサービスがあり、WhatsAppを他の製品に統合するためのものです(ちなみに関連はありません)。[1] https://kapso.com/

Kapsoが変えようとしていること

Kapsoの中心的な主張は、エンタープライズデータの作業は、一般的なドキュメント検索や固定された事前のビジネスモデルではなく、環境固有の実験と複合的なレッスンを通じて改善されるということです。レッスンバンク、検証者、デプロイループ、およびgitバックアップされた共有メカニズムは、Leerooがその主張をテストするためにオープンソース化した具体的なピースです。

Sources