christopherkarani/Swarm
Type-safe tools, on-device inference, multi-agent workflows, memory, and guardrails, in one Swift-native runtime
解决的问题
Swarm 是一个 Swift 原生代理运行时,旨在帮助开发者为 iOS、macOS 和 Linux 构建生产级 AI 代理。它通过提供一个支持设备端和云端推理的类型安全、并发框架,解决了管理代理循环、工具集成和模型部署的复杂性。
工作原理
Swarm 使用可插拔的 InferenceProvider 系统,允许相同的代理逻辑在不同的后端(如用于设备端 AI 的 Apple Foundation Models、Ollama、LM Studio 或兼容 OpenAI 的 API)上运行。它利用 Swift 6.2 的严格并发性来确保安全,并使用宏(通过 @Tool 宏)在编译时从 Swift 类型自动生成工具模式。
目标用户
为 Apple 平台或 Linux 构建 AI 代理的 Swift 开发者,他们需要一个支持设备端执行和复杂代理编排的强大、类型安全框架。
特点
- 可组合工作流程:使用
Workflow和Job工具链接、并行化或路由代理任务。 - 设备端推理:原生支持 Apple Foundation Models,实现隐私保护和离线能力。
- 弹性与防护:内置对重试、断路器、速率限制和输入/输出验证的支持。
- 持久化执行:能够检查工作流程进度并在进程重启后恢复。
- 可扩展性:与 Model Context Protocol (MCP) 集成以进行工具发现,并与 OpenTelemetry 集成以进行可观测性。
相关
- 项目
- 项目
- 项目
- 项目
- 项目