evidently：一個開源框架，用於評估、測試與監控機器學習與大型語言模型驅動的系統

它解決了什麼問題

Evidently 提供一個統一的框架，來評估、測試與監控機器學習（ML）與大型語言模型（LLM）系統的品質。它針對從實驗階段到正式上線的性能與可靠性維護挑戰，特別聚焦於資料漂移、模型退化以及生成式 AI 輸出品質等問題。

工作原理

此函式庫透過三個主要元件運作：

1. Reports（報告）：使用內建或自訂指標計算並彙總品質評估。報告可用於探索性分析與除錯，並能匯出為 JSON、HTML 或 Python 字典。
2. Test Suites（測試套件）：在 Reports 中加入通過/失敗條件，使用者即可建立自動化測試，用於回歸測試、CI/CD 檢查與資料驗證。
3. Monitoring Dashboard（監控儀表板）：一個 UI 服務（可自行部署或使用受管雲端版本），可視化這些指標與測試結果的時間變化，追蹤系統健康狀況。

目標使用者

此框架設計給 ML 工程師、資料科學家與 AI 開發者使用，協助他們確保預測模型（分類、回歸）或生成系統（RAG、LLM 應用）的準確性與穩定性。

重點特色

• 廣泛支援：支援表格資料與文字資料。
• 豐富指標庫：內建超過 100 種指標，涵蓋資料漂移、LLM‑as‑a‑judge 以及傳統 ML 效能。
• 多樣化評估：支援預測任務（accuracy、precision）與生成任務（語意相似度、檢索相關性）。
• 彈性部署：提供離線實驗評估與線上即時監控兩種模式，適用於生產系統。

---

SUMMARY: 一個開源的 Python 框架，用於評估、測試與監控機器學習與大型語言模型驅動的系統，協助開發者偵測資料漂移並確保輸出品質。

TITLE: evidently：一個開源框架，用於評估、測試與監控機器學習與大型語言模型驅動的系統