christopherkarani/Swarm

Type-safe tools, on-device inference, multi-agent workflows, memory, and guardrails, in one Swift-native runtime

解决的问题

Swarm 是一个 Swift 原生代理运行时,旨在帮助开发者为 iOS、macOS 和 Linux 构建生产级 AI 代理。它通过提供一个支持设备端和云端推理的类型安全、并发框架,解决了管理代理循环、工具集成和模型部署的复杂性。

工作原理

Swarm 使用可插拔的 InferenceProvider 系统,允许相同的代理逻辑在不同的后端(如用于设备端 AI 的 Apple Foundation Models、Ollama、LM Studio 或兼容 OpenAI 的 API)上运行。它利用 Swift 6.2 的严格并发性来确保安全,并使用宏(通过 @Tool 宏)在编译时从 Swift 类型自动生成工具模式。

目标用户

为 Apple 平台或 Linux 构建 AI 代理的 Swift 开发者,他们需要一个支持设备端执行和复杂代理编排的强大、类型安全框架。

特点

  • 可组合工作流程:使用 Workflow 和 Job 工具链接、并行化或路由代理任务。
  • 设备端推理:原生支持 Apple Foundation Models,实现隐私保护和离线能力。
  • 弹性与防护:内置对重试、断路器、速率限制和输入/输出验证的支持。
  • 持久化执行:能够检查工作流程进度并在进程重启后恢复。
  • 可扩展性:与 Model Context Protocol (MCP) 集成以进行工具发现,并与 OpenTelemetry 集成以进行可观测性。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目