WecoAI/awesome-autoresearch

解決する課題

AutoResearchは、試行錯誤のプロセスを自動化することで、コードやモデルを手動で最適化する課題を解決します。人間の開発者がパフォーマンスを向上させるためにパラメータやコードを微調整する代わりに、AIエージェントがテスト、測定、改善の継続的なループを実行し、可能な限り最良の結果を見つけ出します。

仕組み

その核心として、AutoResearchは特定のプロンプトを使用して、コーディングエージェント（Claude Codeなど）に反復的なワークフローに従うよう指示します。エージェントはターゲットファイルを変更し、GPU上で一定時間実行し、特定のメトリクスに対して結果をチェックします。変更によってメトリクスが改善されればエージェントはその変更を保持し、そうでなければ元に戻します。このループは無期限に繰り返され、エージェントが複雑なタスクを自律的に探索および最適化することを可能にします。

対象読者

このプロジェクトは、パフォーマンスチューニング、プロンプトエンジニアリング、またはアーキテクチャ探索を自動化したい開発者、研究者、エンジニア向けです。最終結果だけでなく、エージェントが行ったすべての試行の記録である「最適化の軌跡」全体を確認したい方に特に役立ちます。

ハイライト

• GPUカーネルの最適化やLLMトレーニングから、ゲームAI、科学研究まで、実世界のユースケースを厳選したコレクション。
• 最適化トレースへのリンクが含まれており、エージェントがどのように改善に至ったかを正確に調査できます。
• Apple Silicon、Windows、分散型マルチエージェントスウォーム向けのバージョンを含む、さまざまなオープンソース実装やフォークを特集しています。
• 研究エージェントの有効性を測定するためのベンチマークや評価ツールへのアクセスを提供します。