Kapso: Leeroo의 엔터프라이즈 데이터에서 반복 학습을 위한 오픈소스 엔진

Leeroo는 Kapso를 오픈소스로 공개했습니다. Kapso는 엔터프라이즈 데이터에 대해 실험을 실행하고, 최적의 솔루션을 대상 스택에 배포하며, 모든 실행에서 얻은 교훈을 git 기반의 교훈 저장소에 업데이트하는 엔진입니다. 이 프로젝트가 중요한 이유는 엔터프라이즈 데이터 작업을 일회성 RAG나 사전 온톨로지 작업이 아닌 환경별 학습 루프로 취급하기 때문입니다.

Kapso가 하는 일

Kapso는 반복적인 데이터 및 AI 작업을 위해 설계되었습니다: 시스템을 조사하고, 가설을 세우고, 실험을 실행하고, 결과를 검증하고, 학습을 다음 실험에 반영합니다. Leeroo는 대규모의 복잡한 엔터프라이즈 데이터 환경에서 이러한 하향식 프로세스가 필요하다고 주장합니다. 회의에서 컨텍스트를 수집하는 컨설턴트나 사전에 비즈니스 온톨로지를 정의하는 팀은 분기나 년 단위로 실행하지 못하는 경우가 많기 때문입니다.

저자들은 한 엔터프라이즈 프로젝트를 설명합니다. 그 프로젝트는 한 회사를 오래된 데이터 환경에서 30개 이상의 소스 시스템 계열, 수천 개의 테이블과 변환, 수백 개의 BI 보고서를 가진 레이크하우스로 이전했습니다. 어떤 개인이나 AI 에이전트도 그 환경이 어떻게 연결되고 운영되는지 알지 못했습니다. 이를 학습하는 유일한 방법은 저장소, dbt 모델, 문서, 데이터 자체를 조사하고, 가설을 제안하고, 실험을 실행하고, 결과에서 배우는 것이었습니다.

Kapso는 그 루프를 자동화하기 위한 것입니다. 사용자가 Kapso에 목표와 성공 기준을 주면, 시스템은 사용자 스택에 배포할 수 있는 최적의 솔루션을 향해 작업합니다.

교훈 저장소와 실험 루프

Kapso의 핵심 메커니즘은 과거 실험에서 유도되거나 추론된 교훈의 저장소입니다. 각 교훈은 신뢰도 점수, 적용 조건, 그리고 그 뒤에 있는 증거를 담고 있습니다.

각 새 실험에 대해, 아이디어 생성 모듈은 이전 교훈을 사용하여 아이디어를 제안하고, 각각이 사용할 예산에 대한 기대 수익으로 재순위를 매기고, 상위 아이디어를 구현자에게 보냅니다. 저장소가 그 환경에서 과거 실험에서 계속 학습하기 때문에, Kapso가 제안하는 아이디어는 LLM이나 RAG의 일반적인 가설보다 그 환경에 더 적합하도록 의도되었습니다.

각 실행 후, learn() 단계는 그 실행의 증거를 사용하여 교훈 저장소의 점수와 경계를 업데이트합니다. 저장소의 변경 사항은 이전 및 업데이트된 저장소로 동일한 빌드를 실행하여 A/B 테스트할 수도 있습니다.

검증 및 진화하는 성공 기준

Kapso는 실험 결과를 검증자 모듈을 통해 검증합니다. 이 모듈은 어떤 실험도 접근하거나 속일 수 없습니다. 시스템은 또한 성공 기준과 평가 테스트가 진화할 수 있도록 허용합니다: 실험 모듈은 메트릭과 기준에 대한 업데이트를 제안할 수 있고, 검증자는 그 업데이트를 승인하거나 거부합니다.

이것은 Leeroo가 지적하듯이, 시스템이 환경에 대해 더 많이 학습함에 따라 성공 기준과 평가 테스트가 때로는 변경되어야 하기 때문에 중요합니다.

Git 기반 경험, CLI 및 하네스

교훈 저장소는 git 위에 구축되었습니다. 사용자는 다른 사람과 경험을 공유하고, 사용 가능한 저장소를 나열하고, CLI 명령을 통해 업데이트할 수 있습니다:

  • kapso experience share
  • kapso experience list
  • kapso experience update

Kapso는 모델에 구애받지 않고 코딩 에이전트에도 구애받지 않습니다. 모든 도메인에는 시작할 하네스가 있습니다. 사용자는 플러그인에서 /kapso:harness 또는 CLI 명령 kapso harness new <name>을 통해 자신만의 도메인 하네스를 작성할 수 있으며, 실험을 실행하여 그 하네스에 대한 학습을 축적할 수 있습니다.

대상 스택에 배포

Kapso는 kapso.deploy(solution, target_stack)으로 솔루션을 배포합니다. 배포 워크플로우는 최적의 솔루션을 대상 스택에 적응시키기 위해 더 짧은 실험 루프를 실행합니다. Leeroo는 Docker, Modal, BentoCloud, LangGraph를 대상 스택의 예로 듭니다.

Leeroo가 보고한 벤치마크 결과

Leeroo는 공개 벤치마크와 라이브 대회에서 결과를 보고합니다. 이는 저자들이 보고한 결과이며, 소스 자료에서 독립적으로 검증되지 않았습니다.

RelBench

Kapso는 Kumo AI(현재 Nvidia)와 Stanford가 관련된 벤치마크인 RelBench에서 1위를 차지했습니다. Leeroo는 이것이 하네스 수준에서 학습을 유지하는 것이 기초 테이블 모델을 이길 수 있음을 보여주며, 교훈 저장소를 업데이트하는 것이 테이블 기반 파운데이션 모델을 재훈련하는 것보다 훨씬 저렴하다고 말합니다.

MLE-bench

Leeroo에 따르면 Kapso는 제출 시점에 OpenAI의 MLE-bench에서 1위를 차지했으며, 여전히 최고의 오픈소스 시스템 중 하나입니다.

ALE-Bench 및 국제 AI 올림피아드 2026

Leeroo는 Kapso가 Sakana AI의 ALE-Bench 저자들이 보고한 최고의 에이전트보다 앞서 있었다고 말합니다. 또한 2026년 국제 AI 올림피아드 라이브에서 자율적으로 실행되었으며, Leeroo는 471명의 인간 참가자 모두보다 높은 순위와 상위 3개 AI 시스템 안에 들었다고 보고합니다.

Leeroopedia 공개 교훈 저장소

Leeroo는 ML 및 데이터를 위한 공개 저장소인 Leeroopedia를 유지합니다. 여기에는 논문과 저장소에 대한 실험을 통해 추출된 약 100,000개의 페이지가 포함되어 있습니다. Leeroopedia는 월 약 600만 건의 요청을 받으며, 그 중 약 28%는 AI 에이전트에서 옵니다.

커뮤니티 피드백

RelArena에서의 독립적인 하이퍼파라미터 튜닝 결과

RelFlow(오픈소스 모델 팩토리)의 한 댓글 작성자는 Kapso를 사용하여 RelArena에서 하이퍼파라미터 최적화 루프를 하네스하는 데 도움을 받았다고 보고했습니다. RelArena는 RelBench와 유사하지만 Prior Labs가 유지 관리하고 규제하여 현대 벤치마크를 오염시킬 수 있는 데이터 누출을 격리한다고 설명됩니다.

Over at https://relflow.ai (an OSS model factory) used Kapso to help harness an HPO loop on RelArena. RelArena is like RelBench, but is maintained and regulated by Prior Labs to isolate data leakage that can taint modern benchmarks. Kapso was able to efficiently calibrate Relflow's hyperparameters on 21 structured data modeling tasks, and we were able to outperform TabPFN on the majority of the larger data modeling tasks despite not using any ICL, and using ~1% of the number of params of TabPFN.

WhatsApp 통합 서비스와의 이름 충돌

한 댓글 작성자는 Kapso라는 이름을 사용하는 꽤 인기 있는 서비스가 이미 있다고 언급했습니다. 그 서비스는 WhatsApp을 다른 제품에 통합하는 서비스입니다. 두 프로젝트는 관련이 없습니다.

FYI, you may want to reconsider the naming as there's already a fairly popular service named Kapso [1] for integrating WhatsApp into other products (not related btw). [1] https://kapso.com/

Kapso가 바꾸려는 것

Kapso의 핵심 주장은 엔터프라이즈 데이터 작업이 일반적인 문서 검색이나 고정된 사전 비즈니스 모델이 아닌 환경별 실험과 축적된 교훈을 통해 개선된다는 것입니다. 교훈 저장소, 검증자, 배포 루프, git 기반 공유 메커니즘은 Leeroo가 그 주장을 테스트하기 위해 오픈소스로 공개한 구체적인 요소들입니다.

Sources