Human-Agent-Society/reef
Infrastructure for continually self‑improving agents
解決する課題
Reefは、AIエージェントの継続的な改善を自動化するためのインフラストラクチャを提供します。静的なデプロイメントではなく、エージェントが自身のインタラクションから学習するフィードバックループを作成することで、手動介入なしで時間の経過とともにパフォーマンスを向上させることが可能になります。
仕組み
Reefは4つのステップのサイクルで動作します：
- Serve（提供）：エージェントをホストし、すべてのインタラクションを記録します。
- Observe（観察）：フィードバック（スコアや修正など）を収集し、特定のエージェントの応答とリンクさせます。
- Grow（成長）："レシピ"を使用してこのフィードバックを処理し、新しいモデル重みのトレーニングや、エージェントの"ハーネス"（プロンプト、ルール、スキル）の改良を通じて更新を生成します。
- Commit（コミット）：これらの更新を評価し、バージョン管理された履歴に公開することで、エージェントを稼働させたまま改善を継続します。
対象ユーザー
このプロジェクトは、自己改善機能を実装したい自律型エージェントの開発者や研究者を対象としています。特に、科学的発見、タスクストリーム学習、または実際の使用フィードバックに基づいて適応する必要があるエージェントに取り組んでいる方に最適です。
ハイライト
- デュアルサーフェス進化：モデル重みのトレーニング（GPUスタックを使用）とハーネスの最適化（モデルAPIを使用）の両方をサポートします。
- バージョン管理：エージェントの更新バージョンを自動的に追跡・管理し、学習プロセス中の安定性を確保します。
- OpenAI互換：標準的な OpenAI および Anthropic API 形式と互換性のある推論エンドポイントを提供します。
- レシピ駆動：科学的発見や継続的学習など、さまざまなタスク向けの事前構築済みレシピカタログが含まれています。
関連
- Dispatch
Raven: 再帰的自己改善のためのハーネスのハーネスRavenは、メモリを最優先とするオープンソースのマルチエージェントプラットフォームであり、組み込みおよび第三者エージェントをオーケストレーションし、ランタイムでの自己進化をサポートし、エンドツーエンドのプロジェクト配信と再帰的自己改善のベンチマークを実証しています。
- プロジェクト
google-deepmind/reverbReverb は Linux 専用、Python に優しいライブラリ（C++ バックエンド付き）で、強化学習研究向けの gRPC ベースの分散経験リプレイサービスを提供します。均一、優先度付き、FIFO など、構成可能なサンプリング/削除戦略を持つテーブルを定義でき、レートリミッターと容量制限をサポート。複数サーバー間でのチェックポイントとシャーディングも可能。`pip install dm-reverb[tensorflow]` でインストールし、`reverb.Server`/`reverb.Client` API を使ってデータの挿入とサンプリングを行います。プロダクション向けではなく、特定の TensorFlow バージョンに強く依存しています。
- プロジェクト
bytedance/deer-flowDeerFlowは、サブエージェントの調整、ツール（ウェブ検索、サンドボックス化されたコード実行、RAG）の使用、メモリ管理が可能な自律AIエージェントを構築できるオープンソースフレームワークです。多くのLLMプロバイダーをサポートし、ウェブUI、ターミナルUIを提供し、トレーシングサービスを統合しており、すべてDockerでデプロイ可能です。
- プロジェクト
Tencent/WeSmartFlowWeSmartFlowはオープンソースの適応型学習プラットフォームで、AIエージェントを使用して個別指導、コース生成、パーソナルナレッジグラフでの進捗追跡を行い、Vueフロントエンド、FastAPIバックエンド、オプションのWeChat統合を備えています。
- プロジェクト
WeaveMindAI/weftWeft は、AI ワークフローをオーケストレーションするためのコンパイル型・グラフベースの言語およびランタイムです。LLM 呼び出し、エージェント、API、データベース、人間参加型ステップを型付きグラフのノードとして接続し、実行前に設計を検証し、長時間実行ジョブを永続化し、すべてのデータフローのジャーナルを記録します。AI アシスタント「Tangle」と統合され、自動コード生成、テスト、バージョン管理された実行をサポートします。初期段階ですが使用可能で、Docker ベースのインストーラー、VS Code 拡張機能、WhatsApp サポートボットなどの例が含まれています。