ThousandBirdsInc/chidori

解決的問題

Chidori 解決了 AI 智能體具有的非確定性、高成本與脆弱性問題。它消除了重現 Bug 的困難、除錯期間重複執行相同 LLM 提示詞的成本，以及程序崩潰或在長時間運行中需要人工確認時進度遺失的問題。

工作原理

Chidori 使用帶有嵌入式 JavaScript 引擎的 Rust 執行階段來執行使用純 async TypeScript 編寫的智能體。它將每一次副作用（如 LLM 呼叫、工具執行與 HTTP 請求）攔截為「宿主呼叫」（host call）。這些呼叫會被記錄在日誌（journal）中。這種機制允許執行階段實現：

• 檢查點與恢復： 將執行狀態儲存至磁碟，使其在崩潰後仍能保留或在新的程序中恢復。
• 確定性重放： 針對記錄的日誌重新執行完全相同的程式碼，無需進行新的 LLM 呼叫即可生成位元組級一致的輸出，實現零 Token 成本。
• 人機回環 (Human-in-the-Loop)： 使用 chidori.input() 或訊號將執行掛起至磁碟，釋放系統資源，直到人工提供輸入。

適用對象

構建長時間運行、高成本或需要人工干預的 AI 智能體的開發者，他們希望將工作流引擎的可靠性與可測試性與標準 TypeScript 程式碼的靈活性相結合。

亮點

• 零 Token 重放： 以零 LLM 成本與完全相同的結果重放任何執行過程，用於除錯或測試。
• 純 TypeScript： 無需複雜的圖或 DSL；智能體使用標準的 async/await 流程編寫。
• 自包含執行階段： 單一 Rust 二進位檔案，不依賴 Node.js、Deno 或 V8。
• 持久化執行： 在每次宿主呼叫時預設進行檢查點儲存，實現崩潰恢復與長期暫停。
• 進階智能體模式： 支援基於 Actor 的多智能體監督、用於 A/B 測試的分支執行以及結構化提示詞快取。
• 整合套件管理： 無需安裝 Node.js 即可安裝純 ESM npm 套件。