hydro-project/infinity

An agent runtime and tool protocol for principled agent concurrency

解決する課題

Infinityは、エージェントシステムにおける高いリソース消費の問題を解決します。従来のエージェントアーキテクチャでは、低速なツールや外部からの応答を待機している間もプロセスをアクティブに保つことが多く、メモリと計算リソースを浪費していました。Infinityを使用すると、常にアクティブに保つオーバーヘッドなしで、膨大な数のエージェントを並行して実行できます。

仕組み

Infinityは、エージェントをターン間の軽量なデータ構造として扱います。エージェントがツールや外部イベントを待機している間は「ハイバネーション(休眠)」状態になります。つまり、スタック領域を占有せず、開いている接続も保持しません。新しいイベントが到着すると、エージェントはウェイクアップして処理を行います。これにより、同じコードをローカルで実行することも、AWS Lambdaのようなサーバーレスプラットフォームで実行することも可能になり、アイドル時にはエージェントをゼロまでスケールダウンできます。

対象ユーザー

Infinityは、複雑で並行性の高いエージェントシステムを構築する開発者向けです。限られたハードウェアやコストに敏感なサーバーレスインフラ上で、数千ものエージェントを効率的に管理する必要がある場合に最適です。

ハイライト

  • 極めて軽量:Raspberry Pi上で75,000個のエージェントを実行可能。
  • ハイバネーションモデル:タスクやツールの出力を待機している間、エージェントはリソースを消費しません。
  • Reactive Agent Protocol (RAP):エージェントプロセスが非アクティブな状態でも機能する、ネットワークベースのツール利用を可能にします。
  • サーバーレス対応:AWS Lambdaのようなプラットフォームでシームレスに動作し、ゼロへのスケールダウン機能を備えています。
  • 組み込みコーディングエージェント:テストの実行や並列編集の管理など、並行開発タスクに特化したエージェントが含まれています。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト