MDX-Tom/gpt-instruct

gpt‑instruct – Codex 모델을 위한 프롬프트 및 평가 툴킷

무엇인가요 – Codex 패밀리(gpt‑5.6‑sol, gpt‑6‑astra, gpt‑6.1‑sol)의 여러 버전을 위한 수작업으로 만든 지시 프롬프트("prompt‑instruct" 파일)를 묶어주는 작고 Python 기반의 도구 체인과 재현 가능한 테스트 환경을 제공합니다. 리포지토리는 프롬프트 파일을 ZIP/Markdown 패키지 형태로 배포하며, 사용자의 CODEX_HOME에 적절한 프롬프트 파일을 복사하고 롤백을 위한 스냅샷을 기록할 수 있는 배포 스크립트(codex‑instruct.py)와, 정교하게 구성된 리그레션 테스트 세트(A/B/C 레벨 및 별도의 JailbreakBench 세트)에서 모델을 실행하는 평가 스크립트의 컬렉션을 제공합니다. 목적은 특정 프롬프트 버전을 설치, 테스트, 롤백하기 쉽게 하면서 평가 결과의 상세한 감사 기록을 유지하는 것입니다.

주요 구성 요소

• codex‑instruct.py – 명령줄 유틸리티로 프롬프트 패키지를 적용하거나(--dry-run으로 미리보기), 프롬프트 파일만 리셋하거나, 저장된 스냅샷을 복원할 수 있습니다.
• 프롬프트 패키지 – 세 가지 릴리스 트랙용 사전 패키징된 ZIP/Markdown 파일:
  • gpt‑5.6‑sol‑v45 (안정된 프로덕션)
  • gpt‑6‑astra‑v2‑rc1 (Astra 라인의 첫 번째 프리릴리스)
  • gpt‑6.1‑sol‑v1‑rc2 (6.1 라인의 첫 번째 프리릴리스)
• 평가 스크립트(scripts/*.py) – 모델을 A/B/C 리그레션 세트와 JB‑A / JB‑B (JailbreakBench) 테스트에서 실행하고, 점수 보고서를 생성하며, 필수 "게이트" 기준을 충족하는지 확인합니다.
• 테스트 데이터(tests/) – A, B, C 및 절차적 브레이크 벤치마크에 사용되는 구체적인 사례와 기대되는 아티팩트를 설명하는 매니페스트 파일들.
• 문서(docs/) – 아키텍처 다이어그램, 버전 추세 차트, 상세한 방법론 노트.

작동 방식

1. 버전 선택 – 예: python3 codex‑instruct.py --apply --version gpt-5.6-v45.
2. 스크립트는 해당 *.md 프롬프트 파일을 사용자의 CODEX_HOME에 복사하고, config.toml을 model_instructions_file = "./gpt‑5.6‑sol‑v45.md"로 업데이트합니다.
3. 어떤 것도 덮어쓰기 전에 현재 상태의 스냅샷을 저장하므로, 나중에 --reset 또는 --restore‑snapshot을 실행할 수 있습니다.
4. 제공된 평가 스크립트를 실행하여 공개된 메트릭을 재현합니다(A 레벨의 안정성 검사, B 레벨의 리그레션 커버리지, 선택적 C 레벨 전체 세트, 그리고 선택적 절차적 브레이크 벤치마크). 결과는 동일한 모델 라인, 추론 티어(medium), 및 아이덴티티 내에서만 비교됩니다.
5. 새로운 프롬프트가 하드 게이트(A, 다음 B, 다음 C) 중 하나를 실패하면 릴리스는 프리릴리스로 유지되며, 그렇지 않으면 안정 라인으로 승격될 수 있습니다.

왜 중요한가 – 대규모 언어 모델의 프롬프트 엔지니어링은 매우 반복적입니다. 이 프로젝트는 프롬프트 파일과 재현 가능한 평가 환경을 결합하는 형식화된 버전 관리 워크플로우를 제공하여, 어떤 프롬프트 변경이 명확히 정의된 테스트 세트에서 측정 가능한 개선(또는 하락)을 가져왔는지 정확히 추적할 수 있도록 합니다. 명시적인 "A → JB‑A → B → JB‑B → C" 게이트 시퀀스는 안전이 중요한 AI 배포에서 흔히 사용되는 품질 게이트 파이프라인을 반영합니다.

누가 사용해야 하는가 – Codex 패밀리와 함께 작업하고, 다음을 반복 가능한 방식으로 수행해야 하는 개발자 또는 연구자:

• 여러 환경에 특정 프롬프트 버전을 배포하기.
• 새로운 프롬프트가 승격하기 전에 사전 정의된 안전성 및 성능 기준을 충족하는지 확인하기.
• 프롬프트 변경, 평가 아티팩트, 롤백 기능의 감사 기록 유지하기.

라이선스 및 상태 – MIT 라이선스, 세 가지 릴리스 트랙(하나는 안정, 두 개는 프리릴리스)으로 활발히 유지 관리 중입니다. 리포지토리는 재현성을 위해 역사적 버전을 포함하며, 코드는 상용 사용이 아닌 AI 안전성 연구를 목적으로 한다는 명확한 진술이 포함되어 있습니다.