Senior SWE-Bench：評估 AI 代理人作為資深軟體工程師的能力

Senior SWE-Bench 評估 AI 代理人在高層次工程自主性上的表現

Senior SWE-Bench 是由 Snorkel AI 所建立的開源基準，用來評估 AI 代理人是否能夠充當資深軟體工程師。與傳統只聚焦於單一程式編寫任務的基準不同，Senior SWE-Bench 會測試代理人在真實程式碼庫中，將不完整的需求轉化為完整可運作功能的能力。

Senior SWE-Bench 的核心前提是，資深工程師的特徵在於能在需求未明確規範的情況下完成特性開發。此基準挑戰代理人必須在模糊的情境中自行做出合理的架構決策，並獨立填補技術空白。

為了說明基準任務的複雜度，請參考將 Google Books 作為「BookWorm」系統的中繼資料來源的需求。資深等級的代理人必須在未被告知每一行程式碼實作方式的前提下，處理以下技術需求：

Fallback Logic（備援邏輯）：實作一套機制，當 Amazon 查詢失敗或僅有 ISBN‑13 時，使用 Google Books 作為備援。
API Integration（API 整合）：建立函式以從 Google Books API 取得原始 JSON（fetch_google_book）並將資料正規化為 Open Library 版次欄位（process_google_book）。
Data Integrity（資料完整性）：確保若 Google Books 為單一 ISBN 回傳多筆結果，系統會記錄警告並跳過 staging，以免引入不可靠的資料。
System Integration（系統整合）：更新既有的 pipeline 常數（例如 openlibrary/core/imports.py 中的 STAGED_SOURCES）並修改 scripts/promise_batch_imports.py 中的 enrichment 邏輯，以使用新的中繼資料 staging 流程。
Concurrency（並行處理）：使用 BaseLookupWorker 執行緒類別，有效管理 API 查詢工作者。

初步資料顯示，最高解題成功率目前為 24%，由 Opus 4.8 取得。這顯示現有大型語言模型的能力與持續解決資深工程任務所需的自主性之間仍有顯著差距。

Senior SWE‑Bench 的發布在工程師間引發了關於「資深度」定義以及靜態基準對 AI 有效性的爭論。

一些批評者認為，此基準忽略了資深工程師最關鍵的能力：需求收集。

"資深工程師會自行取得工作所需的輸入，無論是與客戶對話或是使用指標。絕不會自己憑空想出需求——那是初級的行為。"

其他貢獻者則認為，基準應更聚焦於明確的成果，而不是使用類似「你是資深工程師」的提示，這類提示被他們形容為「胡說八道」。

有人擔心基準的長期有效性。若任務基於現有開源專案，LLM 可能已在訓練資料中見過解決方案。

"如果基準要求實作的是開源專案中的功能，而 LLM 已將這些變更納入訓練資料集，那麼它們可能只會直接給出逐字或稍作修改的版本。"

因為基準是開源的，有些使用者擔心 AI 公司會針對通過這些測試而特別優化模型，而非提升一般工程能力，這是常見的「基準遊戲」問題。

摘要： Senior SWE‑Bench 是一個開源基準，旨在評估 AI 代理人在從不完整需求實作功能的能力，模擬資深軟體工程師的工作流程。

標題： Senior SWE‑Bench：評估 AI 代理人作為資深軟體工程師的能力