ThousandBirdsInc/chidori

解決する課題

Chidoriは、AIエージェントの非決定論的、高コスト、かつ脆弱な性質に対処します。バグ再現の困難さ、デバッグ中の同じLLMプロンプトの再実行コスト、およびプロセスがクラッシュしたり長期間にわたる人間の承認が必要になったりした際の進捗の喪失を排除します。

仕組み

Chidoriは、組み込みのJavaScriptエンジンを備えたRustベースのランタイムを使用して、純粋なasync TypeScriptで書かれたエージェントを実行します。LLM呼び出し、ツール実行、HTTPリクエストなどのすべてのサイドエフェクトを「ホストコール」としてインターセプトします。これらのコールはジャーナルに記録されます。このメカニズムにより、ランタイムは以下のことが可能になります：

• チェックポイントと再開: 実行状態をディスクに保存し、クラッシュ後も維持したり、新しいプロセスで再開したりできるようにします。
• 決定論的な再生: 記録されたジャーナルに対して全く同じコードを再実行し、新しいLLM呼び出しを行うことなく、トークンコストゼロでバイト単位で同一の出力を生成します。
• Human-in-the-Loop: chidori.input() またはシグナルを使用して実行をディスクに中断し、人間が入力を提供するまでシステムリソースを解放します。

対象者

ワークフローエンジンの耐久性とテスト可能性と、標準的なTypeScriptコードの柔軟性を組み合わせて、長時間実行、高コスト、または人間の介入が必要なAIエージェントを構築する開発者。

ハイライト

• ゼロトークン再生: デバッグやテストのために、LLMコストなしで同一の結果を得るために任意の実行を再生できます。
• 純粋なTypeScript: 複雑なグラフやDSLは不要です。エージェントは標準的な async/await フローを使用して記述されます。
• 自己完結型のランタイム: Node.js、Deno、またはV8に依存しない単一のRustバイナリ。
• 堅牢な実行: すべてのホストコールでデフォルトのチェックポイント作成を行い、クラッシュリカバリと長期的な一時停止を可能にします。
• 高度なエージェントパターン: アクターベースのマルチエージェント監視、A/Bテストのための分岐実行、および構造化プロンプトキャッシュをサポートします。
• 統合されたパッケージ管理: Node.jsをインストールすることなく、純粋なESM npmパッケージをインストールできます。