MDX-Tom/gpt-instruct

gpt‑instruct – Codex モデル用のプロンプトおよび評価ツールキット

何であるか – Codex ファミリー（gpt‑5.6‑sol、gpt‑6‑astra、gpt‑6.1‑sol）の複数のバージョン向けに手作業で作成された インストラクションプロンプト（「prompt‑instruct」ファイル）をバンドルする、小さな Python ベースのツールチェーンと、再現可能なテストハーネスを提供します。リポジトリはプロンプトファイルを ZIP/Markdown バンドルとして配布し、ユーザーの CODEX_HOME に適切なプロンプトファイルをコピーしてスナップショットを記録し、ロールバック可能なデプロイメントスクリプト（codex‑instruct.py）と、カスタマイズされたリグレッションスイート（A/B/C レベルと別途の JailbreakBench スイート）でモデルを実行する評価スクリプトのコレクションを提供します。目的は、特定のプロンプトバージョンを インストール、テスト、ロールバック しやすく、評価結果の詳細な監査証跡を維持することです。

主なコンポーネント

• codex‑instruct.py – コマンドラインユーティリティで、プロンプトバンドルを適用（--dry-run でプレビュー）、プロンプトファイルのみリセット、または保存済みスナップショットを復元できます。
• プロンプトバンドル – 3つのリリーストラック用の事前パッケージ化された ZIP/Markdown ファイル：
  • gpt‑5.6‑sol‑v45（安定版プロダクション）
  • gpt‑6‑astra‑v2‑rc1（Astraラインの最初のプレリリース）
  • gpt‑6.1‑sol‑v1‑rc2（6.1ラインの最初のプレリリース）
• 評価スクリプト（scripts/*.py） – モデルを A/B/C リグレッションスイートおよび JB‑A / JB‑B（JailbreakBench）テストで実行し、スコアレポートを生成し、必要な「ゲート」基準を満たしているかを検証します。
• テストデータ（tests/） – A、B、C、およびジャイルブレイクベンチマークに使用される具体的なケースと、期待されるアーティファクトを記述するマニフェストファイル。
• ドキュメント（docs/） – アーキテクチャ図、バージョントレンドチャート、詳細なメソドロジーのノート。

動作方法

1. バージョンを選択 – 例：python3 codex‑instruct.py --apply --version gpt-5.6-v45。
2. スクリプトは対応する *.md プロンプトファイルをユーザーの CODEX_HOME にコピーし、config.toml を model_instructions_file = "./gpt‑5.6‑sol‑v45.md" に更新します。
3. 何らかの変更を加える前に、現在の状態のスナップショットを保存するため、後で --reset または --restore‑snapshot を実行できます。
4. 供給された評価スクリプトを実行して、公開されたメトリクスを再現（Aレベルのセーフティチェック、Bレベルのリグレッションカバレッジ、オプションのCレベルフルスイート、およびオプションのジャイルブレイクベンチマーク）。結果は同じモデルライン、推論ティア（medium）、およびアイデンティティ内で比較されます。
5. 新しいプロンプトがハードゲート（A、次にB、次にC）のいずれかを失敗した場合、リリースはプレリリースとして維持されます。それ以外の場合は、安定ラインに昇格できます。

なぜ重要か – 大規模言語モデルのプロンプトエンジニアリングは非常に反復的です。このプロジェクトは、プロンプトファイルと再現可能な評価ハーネスを結合する 形式化されたバージョン管理ワークフロー を提供し、どのプロンプト変更が明確に定義されたテストセット上で測定可能な改善（または劣化）をもたらしたかを正確に追跡できるようにします。明示的な「A → JB‑A → B → JB‑B → C」ゲートシーケンスは、安全に重要なAIデプロイメントでよく使われる品質ゲートパイプラインを反映しています。

誰が使うべきか – Codex ファミリーと作業する開発者や研究者で、以下の繰り返し可能な方法が必要な人：

• 複数の環境に特定のプロンプトバージョンをデプロイする。
• 新しいプロンプトが事前に定義された安全およびパフォーマンス基準を満たしていることを、昇格する前に検証する。
• プロンプト変更、評価アーティファクト、ロールバック機能の監査証跡を保持する。

ライセンスと状態 – MITライセンス、3つのリリーストラック（1つ安定、2つプレリリース）で積極的にメンテナンス中。リポジトリには再現性のための歴史的バージョンが含まれており、コードは商業利用ではなくAIセーフティ研究を目的としていると明確に記載されています。