oughtinc/ice

Interactive Composition Explorer: a debugger for compositional language model programs

ICE – Interactive Composition Explorer

概要 – ICEは、言語モデルエージェント(例:GPT-3/4)を呼び出してタスクを解決する構造化されたワークフローである レシピ を構築、実行、デバッグするためのPythonライブラリです。すべてのLM呼び出しを記録し、ブラウザ上でインタラクティブなトレースを表示するため、複雑なプロンプトチェーンがどのように動作したかを確認できます。

主要な概念

  • Recipes – より高レベルな問題を解決するための一連のサブタスク(質問応答、ランキング、検証など)の階層構造。
  • Agents – 補完、スコアリング、分類などの単一のLM操作を実行する再利用可能な構成要素。エージェントはステートレスであり、入れ替え可能です(人間、LM、またはハイブリッド)。
  • Modes – レシピを人間のみ、LMのみ、またはその混合(人間+LM)で実行し、パフォーマンスを比較できます。
  • Parallel execution – ICEは複数のLM呼び出しを同時に実行できるため、大規模なレシピの処理を高速化します。
  • Trace UI – 実行後、Web UIが実行グラフを可視化し、入力、出力、タイミング、エラーを表示します。これはデバッグや研究に役立ちます。

典型的なワークフロー

  1. パッケージをインストールします (pip install ought-ice)。
  2. APIキーを ~/.ought-ice/.env に設定します。
  3. レシピ を作成またはインポートします(例:「Hello World」入門)。
  4. ice.run(recipe, mode="LM") を呼び出します。
  5. 生成されたトレースをブラウザで開き、各ステップを確認します。

対象ユーザー

  • Chain-of-thoughtや反復分解プロンプトを実験している研究者。
  • 明確で再現可能なワークフローを必要とするAIアシスタントを構築している開発者。
  • Human-in-the-loopと完全自動化されたLMパイプラインを比較したい方。

ステータス – 1.0未満。公開APIは予告なく変更される可能性があります。

リンク –


ICEは、研究アシスタントツールElicitの背後にあるチーム、Oughtによるオープンソースプロジェクトです。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト