MDX-Tom/gpt-instruct

gpt‑instruct – Codex 模型的提示与评估工具包

是什么 – 一个小型的基于 Python 的工具链，将多个版本的 Codex 家族（gpt‑5.6‑sol、gpt‑6‑astra、gpt‑6.1‑sol）的手工制作 指令提示（“prompt‑instruct” 文件）打包在一起，并提供可复现的测试环境。该仓库以 ZIP/Markdown 包的形式分发提示文件，包含一个部署脚本（codex‑instruct.py），可将合适的提示文件复制到用户的 CODEX_HOME 并记录快照以供回滚，以及一系列评估脚本，用于在精心设计的回归测试套件（A/B/C 级别和独立的 JailbreakBench 套件）上运行模型。目标是使 安装、测试和回滚 特定提示版本变得简单，并保留详细的评估结果审计记录。

核心组件

• codex‑instruct.py – 命令行工具，用于应用提示包、预览（--dry-run）、仅重置提示文件，或恢复已保存的快照。
• 提示包 – 三个发布线路的预打包 ZIP/Markdown 文件：
  • gpt‑5.6‑sol‑v45（稳定生产版）
  • gpt‑6‑astra‑v2‑rc1（Astra 线的首个预发布版）
  • gpt‑6.1‑sol‑v1‑rc2（6.1 线的首个预发布版）
• 评估脚本（scripts/*.py） – 在 A/B/C 回归测试套件和 JB‑A / JB‑B（JailbreakBench）测试上运行模型，生成评分报告，并验证是否满足必要的“门控”标准。
• 测试数据（tests/） – 用于 A、B、C 和越狱基准测试的具体案例，以及描述预期输出的清单文件。
• 文档（docs/） – 架构图、版本趋势图和详细的 方法论笔记。

如何工作

1. 选择版本 – 例如：python3 codex‑instruct.py --apply --version gpt-5.6-v45。
2. 脚本将对应的 *.md 提示文件复制到用户的 CODEX_HOME，并在 config.toml 中更新为 model_instructions_file = "./gpt‑5.6‑sol‑v45.md"。
3. 在覆盖任何内容之前，脚本会保存当前状态的快照，以便之后运行 --reset 或 --restore‑snapshot。
4. 运行提供的评估脚本以重现已发布的指标（A 级别 sanity 检查、B 级别回归覆盖率、可选的 C 级别完整套件，以及可选的越狱基准测试）。结果仅在相同模型线、推理层级（medium）和身份下进行比较。
5. 如果新提示未能通过任何硬性门控（A，然后是 B，然后是 C），则该发布保持为预发布；否则可提升至稳定线。

为何重要 – 大型语言模型的提示工程具有高度迭代性。该项目提供了一种 形式化、版本控制的工作流，将提示文件与可复现的评估环境绑定，使得能够精确追踪哪些提示更改带来了可测量的改进（或退化）——在明确定义的测试集上。明确的“A → JB‑A → B → JB‑B → C”门控序列反映了在安全关键型 AI 部署中常用的品质门控流程。

谁应该使用它 – 与 Codex 家族协作的开发者或研究人员，需要一种可重复的方法来：

• 在多个环境中部署特定提示版本。
• 在提升前验证新提示是否满足预定义的安全性和性能标准。
• 保留提示更改、评估产物和回滚能力的审计记录。

许可证与状态 – MIT 许可，积极维护，包含三个发布线路（一个稳定，两个预发布）。仓库包含历史版本以确保可复现性，并明确声明代码旨在用于 AI 安全研究，而非商业用途。