ucinlp/autoprompt
AutoPrompt: Automatic Prompt Construction for Masked Language Models.
解决的问题
AutoPrompt 旨在自动化各种自然语言处理（NLP）任务的提示生成。无需手动设计提示，它允许用户从 BERT 和 RoBERTa 等掩码语言模型（MLM）中提取知识，以执行情感分析、自然语言推理（NLI）、事实检索和关系抽取等任务。
工作原理
该系统使用梯度引导搜索，自动寻找最佳的「触发词元」，当这些词元被添加到模板中时，可最大化语言模型在特定任务上的性能。
用户定义一个包含输入文本占位符和特殊 [MASK] 词元（位置 [P]）的模板。该工具随后搜索一组在所有提示中共享的触发词元 [T]，以优化模型在掩码位置的输出。
适用人群
希望在无需手动试错的情况下优化提示工程的掩码语言模型研究者和开发者。
主要亮点
- 自动提示生成：使用梯度引导搜索替代手动提示工程。
- 支持多种任务：专为情感分析、NLI、事实检索和关系检索设计。
- 多模型兼容：支持 BERT 和 RoBERTa 架构。
- 集成评估：包含用于在事实检索和关系抽取任务上评估提示的脚本。
相关
- 项目
- 项目
- 项目
- 项目
- Dispatch