meta-prompting/meta-prompting

解决的问题

Meta Prompting 解决了少样本提示的局限性，后者依赖提供具体且内容丰富的示例来引导模型。Meta Prompting 并非通过示例教导模型思考什么，而是提供一个结构化模板来指导如何思考，让 LLM 能够更高效且稳健地处理整个类别的任务，而无需特定任务的示例。

工作原理

Meta Prompting 使用一个与示例无关的支架——一个高阶蓝图——来定义问题解决的形式化程序、语法与组合性。

• 理论基础：该框架使用范畴论将提示建模为“函子”，确保复杂任务能够系统性地分解为模块化的提示结构。
• 递归 Meta Prompting (RMP)：这是一个自动化的自我改进循环，LLM 会生成并优化自身的提示，在数学上建模为“单子”以确保优化过程的稳定性与一致性。
• 多模态扩展：使用类型理论，该框架为不同的数据流（如图像或音频）创建带类型的“插槽”，让模型能够跨模态综合信息并输出结构化结果。

适用对象

本项目适合希望提升基础 LLM 推理能力的 AI 研究人员与提示工程师，无需进行大量的微调或准备庞大的少样本示例集。

亮点

• 与示例无关：使用单一结构化模板运作，而非多个具体示例。
• 高性能：使基础的 Qwen-72B 模型在 MATH 和 GSM8K 基准测试中超越了微调模型和早期的 GPT-4 版本。
• Token 效率：与 Tree-of-Thought (ToT) 等迭代方法相比，显著减少了 Token 的使用量与成本。
• 形式化严谨性：使用范畴论与类型理论为提示工程提供数学基础。