Optim-Agent/optim-agent

LLM agents as your hyperparameter optimizer.

何を解決するか

Optim-agent は、アルゴリズムエンジニアが通常行う反復的なパラメータチューニングプロセスを自動化します。従来のブラックボックス最適化手法に代わり、パラメータの意味と観測された結果を推論できるコーディングエージェントを用いて、複雑なシステムの最適な構成を見つけることを実現します。

動作方法

このシステムは、Claude Code、Codex、OpenCode などのコーディングエージェント CLI と統合し、最適化ループを構築します。ユーザーは目的関数と、各パラメータに自然言語による文脈を含む探索空間を定義します。エージェントはコードと試行履歴を読み取り、次に評価すべきパラメータの組み合わせを提案し、結果を記録します。安定性を確保するため、システムはすべてのエージェント提案を宣言された探索空間と照合し、無効な応答が返された場合は安全なサンプリングにフォールバックします。

対象ユーザー

構成可能なパラメータと測定可能な目的を持つシステムを扱うエンジニアや研究者に設計されています。特に以下の分野で有効です:

  • モデル学習: 学習率、アーキテクチャ、正則化のチューニング。
  • 推論とサービング: ラテントシーやコスト最適化のための量子化、バッチ処理、ルーティングの調整。
  • 定量的研究: シグナルウィンドウやリスク制御のチューニング。
  • 強化学習: 目的関数の重みや探索スケジュールの最適化。
  • 科学的ワークフロー: シミュレーション入力やソルバー設定の調整。

特徴

  • 意味に基づく提案: パラメータを匿名の座標として扱うのではなく、LLM を用いてパラメータの意味を推論します。
  • 小規模予算での効率性: 評価が高コストで、従来のサロゲートモデルに十分なデータが得られない場合でも効果的です。
  • 検証可能な意思決定: 設定、結果、エージェントの推論を JSON または SQLite に保存し、完全な透明性を確保します。
  • エージェント主導の要約: 完了した研究の自然言語による解説を生成でき、探索空間の洞察や次に取るべきステップを提案できます。
  • 実行範囲の制限: 実行前に定義された範囲と照合することで、エージェント提案の安全性を保証します。

関連