evalscope：它是什麼、解決了什麼問題以及為何受到關注

它解決了什麼

EvalScope 提供了一個統一的一站式框架，用於評估大型語言模型（LLM）以及其他 AI 模型。它簡化了測量模型能力、在壓力下測試推理效能以及可視化結果的流程，免除手動管理多種分散評估工具的需求。

它如何運作

EvalScope 作為協調層，整合了各種評估後端（例如 OpenCompass、VLMEvalKit、RAGEval）與內建基準（如 MMLU、C‑Eval、GSM8K）。它支援三種主要的評估方式：使用線上 API（相容 OpenAI）、透過 ModelScope 載入本地模型，或使用基於 Python 的配置。該框架可以讓模型執行標準基準測試，或在可插拔工具與沙箱環境下進行多回合的「AgentLoop」以測試代理能力。它同時提供專門的服務，用於壓力測試模型推理效能（測量 TTFT、TPOT 等指標），以及基於 React 的 WebUI，用於可視化比較與詳細預測結果。

目標對象

• AI 開發者與研究者：需要將模型與業界標準或自訂資料集進行基準測試。
• MLOps 工程師：需要對模型服務執行壓力測試，以確保效能與穩定性。
• 代理開發者：希望在受控環境中評估多回合代理軌跡與工具呼叫能力。

重點特色

• 廣泛的模型支援：評估 LLM、視覺語言模型（VLM）、嵌入、重排序器與 AIGC 模型。
• 代理評估模式：支援多回合代理迴圈，搭配 Docker 沙箱與完整追蹤記錄，便於視覺檢查。
• 推理壓力測試：測量關鍵效能指標，如首次 Token 時間（TTFT）與每輸出 Token 時間（TPOT）。
• 整合基準：內建支援大量業界認可的基準，包括 MMLU、GSM8K、GAIA 等。
• 互動式可視化：提供專屬的 Web Dashboard，進行多維度模型比較與報告分析。
• 可擴充架構：允許開發者輕鬆加入自訂資料集、模型與評估指標。