ucinlp/autoprompt
AutoPrompt: Automatic Prompt Construction for Masked Language Models.
解決的問題
AutoPrompt 是為自動化各種自然語言處理（NLP）任務的提示生成而設計的。無需手動撰寫提示，它允許使用者從 BERT 和 RoBERTa 等掩碼語言模型（MLM）中提取知識，以執行情感分析、自然語言推論（NLI）、事實檢索和關係抽取等任務。
作法原理
該系統使用梯度引導搜尋，自動尋找最佳的「觸發詞元」，當這些詞元被加入至範本時，可最大化語言模型在特定任務上的表現。
使用者定義一個包含輸入文字佔位符與特殊 [MASK] 詞元（位置 [P]）的範本。該工具隨後搜尋一組在所有提示中共享的觸發詞元 [T]，以優化模型在遮蔽位置的輸出。
適用對象
希望在不需手動試錯的情況下優化提示工程的掩碼語言模型研究者與開發者。
主要亮點
- 自動提示生成：使用梯度引導搜尋取代手動提示工程。
- 支援多樣任務：專為情感分析、NLI、事實檢索與關係檢索設計。
- 多模型相容：支援 BERT 與 RoBERTa 架構。
- 整合評估：包含用於在事實檢索與關係抽取任務上評估提示的指令碼。
相關
- 專案
- 專案
- 專案
- 專案
- Dispatch