Kapso:Leeroo 的开源引擎,用于从企业数据中迭代学习
Leeroo 已将 Kapso 开源,这是一个针对企业数据运行实验、将最佳解决方案部署到目标技术栈,并从每次运行中更新基于 git 的经验库的引擎。该项目之所以重要,是因为它将企业数据工作视为一种特定于环境的学习循环,而非一次性的 RAG 或前期本体论练习。
Kapso 的功能
Kapso 专为迭代式数据和 AI 工作而设计:调查系统、形成假设、运行实验、验证结果,并将学习成果带入下一个实验。Leeroo 认为,这种自下而上的过程在庞大而混乱的企业数据环境中是必要的,因为在会议中收集背景信息的顾问或预先定义业务本体的团队往往无法在季度或年内完成执行。
作者描述了一个企业项目,该项目将一家公司从旧数据环境迁移到 lakehouse,涉及 30 多个源系统系列、数千张表和转换,以及数百份 BI 报告。没有个人或 AI 代理知道该环境是如何连接和运作的。了解它的唯一方法是调查仓库、dbt 模型、文档和数据本身,提出假设,运行实验,并从结果中学习。
Kapso 旨在自动化这一循环。用户向 Kapso 提供目标和成功标准,系统将朝着可部署在用户技术栈上的最优解决方案努力。
经验库和实验循环
Kapso 的核心机制是一个从过去实验中归纳或演绎出的经验库。每条经验都带有可信度评分、描述其适用条件的条件,以及其背后的证据。
对于每个新实验,构思模块会使用先前的经验提出想法,根据预期回报与预算进行重新排序,并将排名最高的想法发送给实施者。由于经验库会不断从该环境的过去实验中学习,Kapso 提出的想法旨在比来自 LLM 或 RAG 的通用假设更适合该环境。
每次运行后,learn() 步骤会使用该运行的证据更新经验库的评分和边界。对经验库的更改也可以通过运行相同构建但使用先前和更新后的经验库进行 A/B 测试。
验证和不断演变的成功标准
Kapso 通过验证器模块验证实验结果,任何实验都无法访问或欺骗该模块。系统还允许成功标准和评估测试不断演变:实验模块可以提出对指标和标准的更新,验证器批准或拒绝这些更新。
这很重要,因为正如 Leeroo 所指出的,随着系统对环境了解更多,成功标准和评估测试有时需要改变。
基于 git 的经验、CLI 和测试框架
经验库基于 git 构建。用户可以通过 CLI 命令与他人共享经验、列出可用经验库并更新它们:
kapso experience sharekapso experience listkapso experience update
Kapso 与模型无关,与编码代理无关。每个领域都有一个起始测试框架。用户可以通过插件中的 /kapso:harness 或 CLI 命令 kapso harness new <name> 编写自己的领域测试框架,然后通过运行实验在该测试框架上累积学习。
部署到目标技术栈
Kapso 通过 kapso.deploy(solution, target_stack) 部署解决方案。部署工作流运行一个较短的实验循环,以将最佳解决方案适配到目标技术栈。Leeroo 将 Docker、Modal、BentoCloud 和 LangGraph 列为目标技术栈的示例。
Leeroo 报告的基准测试结果
Leeroo 报告了在公共基准测试和实时竞赛中的结果。这些是作者报告的结果,未在源材料中独立验证。
RelBench
Kapso 在 RelBench 上排名第一,该基准测试与 Kumo AI(现为 Nvidia)和斯坦福大学相关。Leeroo 表示,这表明在测试框架级别保持学习可以击败基础表格模型,并且更新经验库的成本远低于重新训练表格基础模型。
MLE-bench
根据 Leeroo 的说法,Kapso 在提交时在 OpenAI 的 MLE-bench 上排名第一,并且仍然是顶级开源系统之一。
ALE-Bench 和 2026 年国际人工智能奥林匹克竞赛
Leeroo 表示,Kapso 领先于 Sakana AI 的 ALE-Bench 作者报告的最佳代理。它还在 2026 年国际人工智能奥林匹克竞赛的现场比赛中自主运行,Leeroo 报告称其排名高于所有 471 名人类参赛者,并跻身前三名 AI 系统。
Leeroopedia 公共经验库
Leeroo 维护一个名为 Leeroopedia 的公共 ML 和数据经验库。它包含约 100,000 个页面,这些页面是通过对论文和仓库进行实验提取的。Leeroopedia 每月接收约 600 万次请求,其中约 28% 来自 AI 代理。
社区反馈
在 RelArena 上的独立超参数调优结果
来自开源模型工厂 RelFlow 的一位评论者报告说,他们使用 Kapso 帮助在 RelArena 上构建超参数优化循环。RelArena 被描述为类似于 RelBench,但由 Prior Labs 维护和监管,以隔离可能污染现代基准测试的数据泄漏。
在 https://relflow.ai(一个 OSS 模型工厂),我们使用 Kapso 帮助在 RelArena 上构建 HPO 循环。RelArena 类似于 RelBench,但由 Prior Labs 维护和监管,以隔离可能污染现代基准测试的数据泄漏。Kapso 能够高效地校准 Relflow 在 21 个结构化数据建模任务上的超参数,尽管我们没有使用任何 ICL,并且使用的参数数量约为 TabPFN 的 1%,但我们能够在大多数较大的数据建模任务上超越 TabPFN。
与 WhatsApp 集成服务的命名冲突
一位评论者指出,一个相当流行的服务已经使用 Kapso 这个名称将 WhatsApp 集成到其他产品中。这两个项目无关。
仅供参考,您可能需要重新考虑命名,因为已经有一个相当流行的名为 Kapso [1] 的服务,用于将 WhatsApp 集成到其他产品中(顺便说一句,无关)。[1] https://kapso.com/
Kapso 试图改变什么
Kapso 的核心主张是,企业数据工作通过特定于环境的实验和累积经验来改进,而不是通过通用文档检索或固定的业务前期模型。经验库、验证器、部署循环和基于 git 的共享机制是 Leeroo 为测试这一主张而开源的具体组件。