arakoodev/EdgeChains

What it solves

EdgeChains 將生成式 AI 開發視為配置管理挑戰，而非 UI 或函式庫設計問題。它解決了「提示爆炸」（不同 LLM 需要不同提示風格）與「提示漂移」（LLM 行為隨時間變化）兩大問題，讓開發者能以宣告式配置管理提示，而非硬編碼邏輯。

How it works

EdgeChains 建構於 Honojs 與 Jsonnet（Google 的配置語言）之上，將提示與鏈的邏輯從應用程式碼中分離。提示寫在 Jsonnet 檔案中，具備可版本化、可 diff，且可外部託管（例如 S3 或透過 API）。框架使用 WebAssembly 執行環境，自動將 LLM 鏈與 chain‑of‑thought 任務平行化至 CPU、GPU、TPU。

Who it’s for

適合需要可擴展、容錯的方式來管理跨多個 LLM 供應商的複雜提示工程與 chain‑of‑thought 工作流程的生產級 GenAI 應用開發者。

Highlights

• Declarative Prompting：提示存放於程式碼外的 Jsonnet 檔案中，便於版本管理與測試。
• Automatic Parallelism：利用 WebAssembly 將任務分配至可用硬體（CPU、GPU、TPU）。
• Fault Tolerance：內建失敗請求的重試與退避機制。
• Cost Tracking：細緻測量提示與鏈的 token 成本。
• Simplified Deployment：生產應用只需一個腳本檔案與一個 Jsonnet 檔案即可執行。