davebcn87/pi-autoresearch

Autonomous experiment loop extension for pi

它解决了什么问题

pi-autoresearch 为 pi AI 编码代理提供了一个自主优化循环。它允许代理迭代地尝试一个想法、基准测试结果、保留改进,并在无人干预的情况下回退回归,自动化性能调整或指标优化的繁琐过程。

它的运作方式

此项目将基础设施(扩展)与领域知识(技能)分离。代理使用一组工具来初始化会话、执行基准测试命令,并记录结果。所有会话状态——包括目标、指标和每次执行的历史记录——都持久化在包含提示文件和 JSONL 日志的 .auto/ 目录中。这允许代理在重启或上下文重置后恢复工作。为了确保质量,它支持可选的背压检查(测试/代码检查),并使用中位数绝对偏差(MAD)来计算置信度分数,帮助代理区分真实收益与基准测试噪声。

适用对象

使用 pi AI 编码代理的开发人员,希望自动化特定目标的优化,例如测试运行时间、包大小、LLM 训练损失、构建速度或 Lighthouse 性能分数。

亮点

  • 自主循环:全自动的编辑-提交-基准测试-回退循环。
  • 持久性:会话状态保存到磁盘,允许代理在对话压缩后重新水合上下文。
  • 置信度分数:使用统计噪声估计来标记改进是真实的还是边际的。
  • 可审查输出:最终化技能将成功的实验分组为干净、独立的 git 分支,供人工审查。
  • 可扩展性:支持迭代前后钩子,用于外部研究或通知等任务。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目