ViktorAxelsen/MemSkill

解決する課題

MemSkill は、長期間のタスクを実行するエージェントにおける、静的で手動設計された記憶操作の限界に対処します。何を記憶するかという固定ルールに頼るのではなく、タスクのフィードバックに基づいて、どの情報を抽出し、どのように記憶し、何を保持または忘却するかを決定する「記憶スキル（メタ記憶戦略）」をエージェントが学習・進化できるようにします。

仕組み

MemSkill は、コントローラー、エグゼキューター、デザイナーで構成されるデータ駆動型のループを実装しています。

• スキル条件付き構築: システムは、関連する一連の小さなスキルを使用して、各インタラクションスパンの記憶を一度に構築します。
• スキルの進化: フレームワークは、タスクの失敗から困難な「ハードケース」を定期的にマイニングし、既存のスキルを洗練させたり、新しいスキルを提案したりします。
• 再利用可能なスキルバンク: 異なるデータセットやベースとなる LLM モデル間で転送可能な共有スキルバンクを維持します。
• トレーニングループ: ALFWorld のようなインタラクティブな環境に対しては、オフラインの専門家軌跡を使用してスケーラブルな記憶構築トレーニングを行い、環境のロールアウトによるタスクレベルの報酬フィードバックを通じて PPO でコントローラーポリシーを最適化します。

対象読者

大量のインタラクション履歴を管理し、時間の経過とともに記憶の効率と品質を向上させる必要がある、長期間タスク実行型 AI エージェントを構築する研究者および開発者。

ハイライト

• メタ記憶アプローチ: 内容そのものではなく、記憶するという「スキル」に焦点を当てています。
• 自己進化: パフォーマンスのフィードバックに基づいて記憶戦略を自動的に洗練させます。
• 転送可能性: 異なるベースモデルやデータセット間で機能する再利用可能なスキルバンクをサポートします。
• スケーラブルなインフラ: 高スループットの評価とトレーニングのために、マルチ API キーのラウンドロビンとマルチプロセッシングを含んでいます。