oughtinc/ice
Interactive Composition Explorer: a debugger for compositional language model programs
ICE – Interactive Composition Explorer
概要 – ICEは、言語モデルエージェント(例:GPT-3/4)を呼び出してタスクを解決する構造化されたワークフローである レシピ を構築、実行、デバッグするためのPythonライブラリです。すべてのLM呼び出しを記録し、ブラウザ上でインタラクティブなトレースを表示するため、複雑なプロンプトチェーンがどのように動作したかを確認できます。
主要な概念
- Recipes – より高レベルな問題を解決するための一連のサブタスク(質問応答、ランキング、検証など)の階層構造。
- Agents – 補完、スコアリング、分類などの単一のLM操作を実行する再利用可能な構成要素。エージェントはステートレスであり、入れ替え可能です(人間、LM、またはハイブリッド)。
- Modes – レシピを人間のみ、LMのみ、またはその混合(人間+LM)で実行し、パフォーマンスを比較できます。
- Parallel execution – ICEは複数のLM呼び出しを同時に実行できるため、大規模なレシピの処理を高速化します。
- Trace UI – 実行後、Web UIが実行グラフを可視化し、入力、出力、タイミング、エラーを表示します。これはデバッグや研究に役立ちます。
典型的なワークフロー
- パッケージをインストールします (
pip install ought-ice)。 - APIキーを
~/.ought-ice/.envに設定します。 - レシピ を作成またはインポートします(例:「Hello World」入門)。
ice.run(recipe, mode="LM")を呼び出します。- 生成されたトレースをブラウザで開き、各ステップを確認します。
対象ユーザー
- Chain-of-thoughtや反復分解プロンプトを実験している研究者。
- 明確で再現可能なワークフローを必要とするAIアシスタントを構築している開発者。
- Human-in-the-loopと完全自動化されたLMパイプラインを比較したい方。
ステータス – 1.0未満。公開APIは予告なく変更される可能性があります。
リンク –
ICEは、研究アシスタントツールElicitの背後にあるチーム、Oughtによるオープンソースプロジェクトです。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト