meta-prompting/meta-prompting

解決的問題

Meta Prompting 解決了少樣本提示的局限性，後者依賴提供具體且內容豐富的範例來引導模型。Meta Prompting 並非透過範例教導模型思考什麼，而是提供一個結構化範本來指導如何思考，讓 LLM 能夠更有效率且穩健地處理整個類別的任務，而無需特定任務的範例。

運作方式

Meta Prompting 使用一個與範例無關的支架——一個高階藍圖——來定義問題解決的形式化程序、語法與組合性。

• 理論基礎：該框架使用範疇論將提示建模為「函子」，確保複雜任務能夠系統性地分解為模組化的提示結構。
• 遞迴 Meta Prompting (RMP)：這是一個自動化的自我改善迴圈，LLM 會生成並優化自身的提示，在數學上建模為「單子」以確保優化過程的穩定性與一致性。
• 多模態擴展：使用型別理論，該框架為不同的資料流（如圖像或音訊）建立帶有型別的「插槽」，讓模型能夠跨模態綜合資訊並輸出結構化結果。

適用對象

本專案適合希望提升基礎 LLM 推理能力的 AI 研究人員與提示工程師，無需進行大量的微調或準備龐大的少樣本範例集。

亮點

• 與範例無關：使用單一結構化範本運作，而非多個具體範例。
• 高效能：使基礎的 Qwen-72B 模型在 MATH 和 GSM8K 基準測試中超越了微調模型和早期的 GPT-4 版本。
• Token 效率：與 Tree-of-Thought (ToT) 等迭代方法相比，顯著減少了 Token 的使用量與成本。
• 形式化嚴謹性：使用範疇論與型別理論為提示工程提供數學基礎。