davebcn87/pi-autoresearch
Autonomous experiment loop extension for pi
它解决了什么问题
pi-autoresearch 为 pi AI 编码代理提供了一个自主优化循环。它允许代理迭代地尝试一个想法、基准测试结果、保留改进,并在无人干预的情况下回退回归,自动化性能调整或指标优化的繁琐过程。
它的运作方式
此项目将基础设施(扩展)与领域知识(技能)分离。代理使用一组工具来初始化会话、执行基准测试命令,并记录结果。所有会话状态——包括目标、指标和每次执行的历史记录——都持久化在包含提示文件和 JSONL 日志的 .auto/ 目录中。这允许代理在重启或上下文重置后恢复工作。为了确保质量,它支持可选的背压检查(测试/代码检查),并使用中位数绝对偏差(MAD)来计算置信度分数,帮助代理区分真实收益与基准测试噪声。
适用对象
使用 pi AI 编码代理的开发人员,希望自动化特定目标的优化,例如测试运行时间、包大小、LLM 训练损失、构建速度或 Lighthouse 性能分数。
亮点
- 自主循环:全自动的编辑-提交-基准测试-回退循环。
- 持久性:会话状态保存到磁盘,允许代理在对话压缩后重新水合上下文。
- 置信度分数:使用统计噪声估计来标记改进是真实的还是边际的。
- 可审查输出:最终化技能将成功的实验分组为干净、独立的 git 分支,供人工审查。
- 可扩展性:支持迭代前后钩子,用于外部研究或通知等任务。
相关
- 项目
- 项目
- 项目
- 项目
- 项目