future-agi/future-agi

Open-source, end-to-end platform for evaluating, observing, and improving LLM and AI agent applications. Tracing · Evals · Simulations · Datasets · Gateway · Guardrails. Self-hostable. Apache 2.0.

概要

Future AGI は、信頼性の高い AI エージェントを構築・運用するための、セルフホスト可能な Apache-2.0 プラットフォームです。これは、個別のツール（トレーシング用の Langfuse、評価用の Braintrust、安全性用の Guardrails AI、ゲートウェイ用の Helicone など）の寄せ集めを、単一の統合システムに置き換えます。

中核となる提案：エージェントは幻覚を起こし、Future AGI はループを閉じることでそれをより速く修正するのに役立ちます — エッジケースをシミュレート → 品質を評価 → 攻撃から保護 → ライブ動作を監視 → 実際のトレースを最適化にフィードバック。

主要機能（6つの柱）

シミュレート — 現実的なペルソナ、敵対的入力、エッジケースを用いて、数千のマルチターン会話を生成します。テキストと音声（LiveKit、VAPI など）をサポート。
評価 — 1回の呼び出しで50以上のメトリクス：接地性、幻覚、ツール使用の正確性、PII、トーン、カスタムルーブリック。LLM-as-judge、ヒューリスティック、ML を使用。
保護 — 18の組み込みスキャナー（PII、脱獄、インジェクション）に加え、15のベンダーアダプター（Lakera、Presidio、Llama Guard）。ゲートウェイ内でインライン実行、またはスタンドアロン SDK として実行可能。
監視 — 50以上のフレームワーク（LangChain、LlamaIndex、CrewAI、DSPy）向けの OpenTelemetry ネイティブトレーシング。スパングラフ、レイテンシ、コスト、ライブダッシュボード — ゼロ設定。
エージェントコマンドセンター — 100以上のプロバイダー、15のルーティング戦略、セマンティックキャッシュ、仮想キー、MCP、A2A を備えた OpenAI 互換ゲートウェイ。主張されるパフォーマンス：約29k req/s、ガードレール有効時 P99 ≤ 21 ms。
最適化 — 6つのプロンプト最適化アルゴリズム（GEPA、PromptWizard、ProTeGi、Bayesian、Meta-Prompt、Random）。本番トレースがトレーニングデータとしてフィードバックされます。

アーキテクチャ

エッジ：traceAI（OpenTelemetry 計装）と Agent Command Center（ゲートウェイプロキシ）。
プラットフォーム：tracer（OTLP 取り込み）、agentic_eval（メトリクス）、simulate（シナリオ生成）、model_hub（LLM ルーティング）、accounts（認証、メータリング）。
データ：PostgreSQL（メタデータ）、ClickHouse（スパン）、Redis（状態）、Temporal（ジョブ）。
インターフェース：すべてがオープン — トレースには OTLP、ゲートウェイには OpenAI 互換 HTTP、ストレージには SQL。コンポーネントを交換できます。

クイックスタート

Docker が必要（スタンドアロンには 2+ vCPU、4 GB RAM）。
1つのコマンド：git clone + ./bin/install（Windows では PowerShell スクリプト）。
起動後、サインインし、API キーをコピーし、pip install fi-instrumentation-otel で最初のトレースを送信します。
Python、TypeScript、Java、C# 用の SDK が利用可能。

デプロイオプション

Docker Compose（スタンドアロンまたは分散）、本番オーバーレイ、Kubernetes/Helm チャート、クラウド VM、および FUTURE_AGI_TELEMETRY_DISABLED=true によるエアギャップ/オンプレミス。

ライセンス

Apache 2.0 コア；個々の SDK は独立してライセンスされています（Apache/MIT）。プラットフォームはオープンソースでセルフホスト可能であり、マネージドクラウドオプションもあります。