arakoodev/EdgeChains

What it solves

EdgeChains 将生成式 AI 开发视为配置管理挑战，而不是 UI 或库设计问题。它解决了“提示爆炸”（不同 LLM 需要不同提示风格）和“提示漂移”（LLM 行为随时间变化）的问题，使开发者能够将提示作为声明式配置来管理，而不是硬编码逻辑。

How it works

EdgeChains 基于 Honojs 和 Jsonnet（Google 的配置语言）构建， 将提示和链的逻辑从应用代码中分离。提示写在 Jsonnet 文件中，具备可版本化、可 diff，并且可以外部托管（例如 S3 或通过 API）。框架使用 WebAssembly 运行时自动将 LLM 链和 chain‑of‑thought 任务并行化到 CPU、GPU、TPU 上。

Who it’s for

面向需要可扩展、容错的方式来管理跨多个 LLM 提供商的复杂提示工程和 chain‑of‑thought 工作流的生产级 GenAI 应用开发者。

Highlights

• Declarative Prompting：提示存放在代码外的 Jsonnet 文件中，便于版本管理和测试。
• Automatic Parallelism：利用 WebAssembly 将任务分配到可用硬件（CPU、GPU、TPU）。
• Fault Tolerance：内置请求失败的重试和退避机制。
• Cost Tracking：细粒度测量提示和链的 token 成本。
• Simplified Deployment：生产应用只需一个脚本文件和一个 Jsonnet 文件即可运行。