agentic-in/inferoa

Inference-native Tokenmaxxing Agent Harness for Loop Engineering

What it solves

Inferoa は、長期にわたるエージェントループで発生する非効率性に対処します。AI エージェントが再帰的タスクを実行する際、しばしば「プロンプトドリフト」やキャッシュ再利用の崩壊、古い証拠で埋め尽くされた膨大なコンテキストウィンドウに悩まされ、コストが増大しパフォーマンスが低下します。

How it works

エージェントループを推論ワークロードとして扱う、推論ネイティブなランタイムを提供します。"tokenmaxxing" によってプロセスを最適化し、キャッシュ可能なプロンプトプレフィックスを保持し、可変コンテキストを制限し、vLLM を介したインテリジェントなモデルルーティングで現在のタスク要件に最もコスト効果の高いモデルパスを選択します。

Who it’s for

複雑で再帰的な AI エージェントを構築し、検査、編集、テスト、検証のために耐久性のあるループが必要な開発者やエンジニア向けです。トークンを無駄にせず、コンテキストの連続性を失わないようにします。

Highlights

  • Loop Engineering: 作業が証明されるまで、複数のタスクと試行を跨いで目的を維持する /loop コマンド。
  • Tokenmaxxing: トークン圧力、プレフィックスキャッシュ再利用、コンテキスト削減を監視・最適化するツール。
  • Inference-native Routing: コスト、セキュリティ、プライバシー、機能に基づいてリクエストをルーティングする vLLM との統合。
  • Context Control: 圧縮、要約、グラフ構造のリポジトリコンテキストを使用し、ウィンドウを古い状態からクリーンに保ちます。