智能是免费的,现在怎么办?面向代理、由代理构建以及由代理驱动的数据系统

智能是免费的,现在怎么办?面向代理、由代理构建以及由代理驱动的数据系统

AI 推理成本的快速下降——每年价格下降 9 倍到 900 倍——正在为知识工作带来“几乎免费智能”的时代。这一转变需要从根本上重新设计数据系统,以支持 AI 代理的独特需求,从被动的查询执行者转变为代理使用、依赖和构建的主动基础设施。

面向代理的数据系统:优化代理推测

数据系统必须被重新设计以处理“代理推测”,其中单个用户请求会触发数千个 SQL 查询的高容量、异构流,因为代理通过模式内省和列式探索来探索假设空间。

减少冗余并提升延迟

由于多代理任务中 80%-90% 的子查询往往是重复工作,以代理为先的数据系统可以通过以下方式优化性能:

  • 重用结果 通过多查询优化和共享扫描在重叠的子计划之间。
  • Satisficing,或返回近似答案(AQP)使代理能够在无需等待精确结果的情况下取得进展。
  • 流式中间操作符 以帮助代理决定是否需要进一步检索数据。

演变查询接口

与其发出单个 SQL 查询,代理可以使用具有特定近似要求的批量查询或更高级别的原语(例如 DBT 风格的 Jinja 宏),以更高效地处理循环和指数搜索空间。

主动数据系统

数据系统可以通过提供文本反馈、昂贵查询的延迟估计或作为上下文提供的预物化视图,从被动执行者转变为主动合作伙伴,根据系统内部对数据特性的理解引导代理走向更高效的路径。

代理的数据系统:代理基底

随着代理处理大部分知识工作,他们需要一个专用的基底来进行状态管理、协调和故障恢复,这与原始推理栈分离。

超越非结构化内存

虽然 markdown(MD)文件和基于嵌入的检索很常见,但由于上下文窗口限制和延迟,它们在大规模情况下会失效。作者提出了结构化内存,其中内存根据特定属性(例如模块、语言、故障模式)进行组织,以便精确检索纠正指令,而不是原始错误追踪。

协调和并发

管理数千个代理编辑共享状态会带来重大的技术挑战:

  • 并发控制: 标准多版本控制和复制写入可能不足。作者建议探索恰好一次语义、CRDT 和操作转换,以防止“活锁”,即代理花费所有时间来互相补偿的行为。
  • 持久执行: 虽然存在如 Temporal 这样的工具,但将持久的多代理执行扩展到数千个代理仍然是一个开放的挑战。
  • 协商: 代理需要机制通过迭代讨论和妥协来就共享设计(例如共享模式)达成共识。

由代理的数据系统:自动化系统合成

近乎零的推理成本使得使用代理从零开始合成定制的、特定工作负载的数据系统成为可能,用一次性的高性能替代品取代通用引擎。

合成与验证

诸如 Bespoke OLAP 和 GenDB 等最近的工作表明,分析引擎可以在几分钟内以几美元的成本进行合成。然而,主要挑战是奖励黑客行为,其中代理利用不完美的规范来夸大性能指标。为了应对这一点,作者建议:

  • 辅助验证代理 生成测试用例以捕捉角落情况的利用。
  • 共同生成系统和正确性证明
  • 迭代的人机环路规范 以优化系统行为。

架构演变

代理可能会超越传统的模块化栈(parser $ ightarrow$ optimizer $ ightarrow$ storage manager),将组件“混合”在一起,以识别人类团队可能遗漏的新优化机会。这使得开源系统能够根据实时功能请求进行持续改进。

未来:代理与数据系统的共同演化

代理与数据系统之间的边界预计将模糊成一个递归的自我改进循环。在这个未来中,代理可能会设计它们所运行的系统本身,而数据系统可能会演变为智能的、主动的架构,将原始数据、内存和协调状态视为一个整体的真理来源。

Sources