meta-prompting/meta-prompting

해결하는 문제

Meta Prompting은 모델을 안내하기 위해 구체적이고 내용이 풍부한 예시를 제공하는 데 의존하는 Few-shot 프롬프팅의 한계를 해결합니다. Meta Prompting은 예시를 통해 무엇을 생각해야 하는지 가르치는 대신, 어떻게 생각해야 하는지에 대한 구조적 템플릿을 제공하여 LLM이 작업별 예시 없이도 전체 작업 카테고리를 더 효율적이고 견고하게 처리할 수 있도록 합니다.

작동 방식

Meta Prompting은 문제 해결의 공식적인 절차, 구문 및 합성성을 정의하는 예시 독립적인 스캐폴드(고수준 청사진)를 사용합니다.

• 이론적 기반: 이 프레임워크는 프롬프팅을 "펑터"로 모델링하기 위해 범주론을 사용하여 복잡한 작업이 모듈식 프롬프트 구조로 체계적으로 분해될 수 있도록 보장합니다.
• Recursive Meta Prompting (RMP): LLM이 자체 프롬프트를 생성하고 다듬는 자동화된 자기 개선 루프이며, 개선 프로세스의 안정성과 일관성을 보장하기 위해 수학적으로 "모나드"로 모델링됩니다.
• 멀티모달 확장: 타입 이론을 사용하여 이 프레임워크는 다양한 데이터 스트림(예: 이미지 또는 오디오)에 대한 타입이 지정된 "슬롯"을 생성하여 모델이 모달리티 간의 정보를 종합하여 구조화된 출력을 만들 수 있도록 합니다.

대상 독자

이 프로젝트는 광범위한 파인튜닝이나 대규모 Few-shot 예시 세트 없이 기본 LLM의 추론 능력을 향상시키려는 AI 연구원 및 프롬프트 엔지니어를 위한 것입니다.

하이라이트

• 예시 독립적: 여러 구체적인 예시 대신 단일 구조적 템플릿을 사용하여 작동합니다.
• 고성능: 기본 Qwen-72B 모델이 MATH 및 GSM8K 벤치마크에서 파인튜닝된 모델과 초기 GPT-4 버전을 능가하도록 했습니다.
• 토큰 효율성: Tree-of-Thought (ToT)와 같은 반복적 방법에 비해 토큰 사용량과 비용을 크게 줄입니다.
• 형식적 엄밀성: 범주론과 타입 이론을 사용하여 프롬프트 엔지니어링을 위한 수학적 기반을 제공합니다.