meta-prompting/meta-prompting

解決する課題

Meta Promptingは、モデルを導くために具体的で内容の豊富な例を提供することに依存するFew-shotプロンプティングの限界に対処します。Meta Promptingは、例を通じて何を考えるかを教えるのではなく、どのように考えるかのための構造的テンプレートを提供し、LLMがタスク固有の例を必要とせずに、タスクのカテゴリ全体をより効率的かつ堅牢に処理できるようにします。

仕組み

Meta Promptingは、問題解決の正式な手順、構文、および合成性を定義する、例に依存しないスキャフォールド（高レベルの設計図）を使用します。

• 理論的基盤：このフレームワークはプロンプトを「関手」としてモデル化するために圏論を使用し、複雑なタスクがモジュラーなプロンプト構造に体系的に分解できることを保証します。
• Recursive Meta Prompting (RMP)：これはLLMが自身のプロンプトを生成し洗練させる自動自己改善ループであり、洗練プロセスが安定して一貫性を保つように数学的に「モナド」としてモデル化されます。
• マルチモーダル拡張：型理論を使用して、このフレームワークは異なるデータストリーム（画像や音声など）に対する型付きの「スロット」を作成し、モデルがモダリティ間で情報を統合し、構造化された出力を作成できるようにします。

対象者

このプロジェクトは、大規模なファインチューニングや大量のFew-shot例のセットを必要とせずに、ベースLLMの推論能力を向上させたいAI研究者やプロンプトエンジニア向けです。

ハイライト

• 例に依存しない：複数の具体的な例ではなく、単一の構造的テンプレートを使用して機能します。
• 高性能：ベースのQwen-72Bモデルが、MATHおよびGSM8Kベンチマークでファインチューニングされたモデルや初期のGPT-4バージョンを上回ることを可能にしました。
• トークン効率：Tree-of-Thought (ToT)のような反復手法と比較して、トークンの使用量とコストを大幅に削減します。
• 形式的厳密さ：圏論と型理論を使用して、プロンプトエンジニアリングに数学的基盤を提供します。