ucinlp/autoprompt

해결하는 문제

AutoPrompt는 다양한 자연어 처리(NLP) 작업을 위한 프롬프트 생성을 자동화하기 위해 설계되었습니다. 수동으로 프롬프트를 작성하는 대신, BERT 및 RoBERTa와 같은 마스크된 언어 모델(MLM)에서 지식을 끌어내어 감성 분석, 자연어 추론(NLI), 사실 검색, 관계 추출과 같은 작업을 수행할 수 있습니다.

작동 방식

이 시스템은 특정 작업에서 언어 모델의 성능을 최대화하기 위해 템플릿에 추가될 때 최적의 "트리거 토큰"을 자동으로 찾기 위해 기울기 가이드 탐색을 사용합니다.

사용자는 입력 텍스트의 자리 표시자와 특수한 [MASK] 토큰(위치 [P])를 포함하는 템플릿을 정의합니다. 그런 다음 도구는 모든 프롬프트에서 공유되는 트리거 토큰 [T]의 집합을 탐색하여 마스크 위치에서 모델의 출력을 최적화합니다.

대상 사용자

수동적인 시도-오류 없이 프롬프트 엔지니어링을 최적화하고자 하는 마스크된 언어 모델을 사용하는 연구자 및 개발자.

주요 특징

• 자동 프롬프트 생성: 수동 프롬프트 엔지니어링을 기울기 가이드 탐색으로 대체합니다.
• 다양한 작업 지원: 감성 분석, NLI, 사실 검색, 관계 검색에 특화되어 있습니다.
• 다중 모델 호환성: BERT 및 RoBERTa 아키텍처 모두를 지원합니다.
• 통합 평가: 사실 검색 및 관계 추출 작업에서 프롬프트를 평가하기 위한 스크립트를 포함합니다.