hydro-project/infinity
An agent runtime and tool protocol for principled agent concurrency
解决的问题
Infinity 解决了智能体系统中资源消耗过高的问题。传统的智能体架构在等待慢速工具或外部响应时通常会保持进程活跃,这浪费了内存和计算资源。Infinity 允许你并发运行海量智能体,而无需承担让它们持续活跃的开销。
工作原理
Infinity 将智能体视为轮次之间的轻量级数据结构。当智能体在等待工具或外部事件时,它会“休眠”——这意味着它不占用栈空间,也不持有任何打开的连接。当新事件到达时,智能体会唤醒以处理它。这使得相同的代码可以在本地运行,也可以在 AWS Lambda 等无服务器平台上运行,智能体在空闲时可以缩减至零。
适用人群
Infinity 专为构建复杂、并发智能体系统的开发者而设计,他们需要在有限的硬件或成本敏感的无服务器基础设施上高效管理数千个智能体。
亮点
- 极度轻量:能够在 Raspberry Pi 上运行 75,000 个智能体。
- 休眠模型:智能体在等待任务或工具输出时不会消耗任何资源。
- 响应式智能体协议 (RAP):支持基于网络的工具使用,即使在智能体进程不活跃时也能工作。
- 无服务器就绪:专为在 AWS Lambda 等平台上无缝运行而设计,具备缩减至零的能力。
- 内置编码智能体:包含一个专门用于并发开发任务(如运行测试和管理并行编辑)的智能体。
相关
- 项目
- 项目
- 项目
- 项目