ThousandBirdsInc/chidori

해결하는 문제

Chidori는 AI 에이전트의 비결정론적이고 비용이 많이 들며 취약한 특성을 해결합니다. 버그 재현의 어려움, 디버깅 중 동일한 LLM 프롬프트를 다시 실행하는 비용, 프로세스가 충돌하거나 장기간 사람의 승인이 필요한 경우 진행 상황이 손실되는 문제를 제거합니다.

작동 원리

Chidori는 임베디드 JavaScript 엔진이 포함된 Rust 기반 런타임을 사용하여 일반 async TypeScript로 작성된 에이전트를 실행합니다. LLM 호출, 도구 실행 및 HTTP 요청과 같은 모든 사이드 이펙트를 "호스트 호출"로 가로챕니다. 이러한 호출은 저널에 기록됩니다. 이 메커니즘을 통해 런타임은 다음을 수행할 수 있습니다:

• 체크포인트 및 재개: 실행 상태를 디스크에 저장하여 충돌 후에도 유지하거나 새 프로세스에서 재개할 수 있도록 합니다.
• 결정론적 재생: 기록된 저널을 대상으로 정확히 동일한 코드를 다시 실행하여 새로운 LLM 호출 없이 토큰 비용 제로로 바이트 단위로 동일한 출력을 생성합니다.
• Human-in-the-Loop: chidori.input() 또는 시그널을 사용하여 실행을 디스크에 일시 중지하여 사람이 입력을 제공할 때까지 시스템 리소스를 확보합니다.

대상 사용자

워크플로 엔진의 내구성과 테스트 가능성 및 표준 TypeScript 코드의 유연성을 결합하여 장시간 실행, 고비용 또는 사람의 승인이 필요한 AI 에이전트를 구축하는 개발자.

주요 특징

• 제로 토큰 재생: LLM 비용 없이 동일한 결과로 디버깅 또는 테스트를 위해 모든 실행을 재생할 수 있습니다.
• 순수 TypeScript: 복잡한 그래프나 DSL이 필요 없습니다. 에이전트는 표준 async/await 흐름을 사용하여 작성됩니다.
• 자기 완결형 런타임: Node.js, Deno 또는 V8에 의존하지 않는 단일 Rust 바이너리.
• 내구성 있는 실행: 모든 호스트 호출 시 기본 체크포인트를 생성하여 크래시 복구 및 장기 일시 중지를 가능하게 합니다.
• 고급 에이전트 패턴: 액터 기반 멀티 에이전트 감독, A/B 테스트를 위한 분기 실행 및 구조적 프롬프트 캐싱을 지원합니다.
• 통합 패키지 관리: Node.js 설치 없이 순수 ESM npm 패키지를 설치할 수 있는 기능.