benchflow-ai/skillsbench
SkillsBench evaluates how well skills work and how effective agents are at using them.
解決的問題
SkillsBench 解決了評估 AI 代理如何有效利用「技能」——即指令、腳本與資源的模組化集合——來完成特定工作流程的需求。它特別關注代理組合多個技能以解決複雜任務的能力，而目前最尖端的模型在這些任務上往往表現不佳。
工作原理
該項目採用類似 gym 的基準測試方法，用於衡量代理行為與技能的有效性。任務以 task.md 套件的形式定義，包含透過 Docker 提供的環境、用於基準解決方案的 oracle，以及用於測試代理輸出的驗證器。它與 BenchFlow SDK 整合，並支援透過 Modal 在雲端沙盒中執行，或在本地 Docker 環境中運行。
適用對象
專為 AI 研究人員與開發人員設計，適用於建構與測試 AI 代理，特別是那些專注於模組化技能獲取與複雜任務組合的開發者。
主要亮點
- 聚焦技能組合：專門設計需要組合兩個或更多技能才能解決的任務。
- gym 風格基準測試：提供一種結構化的方式來評估代理的效能與行為。
- 彈性執行方式：支援透過 Modal 進行雲端執行，也支援透過 Docker 進行本機執行。
- 可擴展的任務系統：允許使用者建立帶有定義環境、oracle 與驗證器的新任務。
相關
- 專案
- 專案
- 專案
- 專案
- 專案