Infosys/Infosys-Responsible-AI-Toolkit

解決的問題

此工具組解決了 AI 解決方案對可信賴度與透明度的需求。它提供了一套全面的 API，可將安全性、保全性、隱私性、可解釋性、公平性與幻覺偵測整合到生成式 AI 與傳統機器學習模型中，協助開發人員監管內容並降低風險。

運作方式

此工具組由模組化 API 與支援的使用者介面組成。它使用「審核層」來監管 LLM 提示與回應，並針對負責任 AI 的不同原則提供專用 API：

• 安全性與隱私性：偵測並匿名化 PII、有毒文字與褻瀆內容。
• 可解釋性：提供 ML 模型的全域與局部解釋（使用 SHAP 和 LIME），以及 LLM 的特定方法（例如 Chain of Thought 和 Graph of Thought）。
• 公平性：使用統計方法偵測偏見，並提供重新加權等緩解技術。
• 幻覺：量化 LLM 回應中的幻覺，特別是在 RAG 情境中。
• 保全性：檢查提示注入與越獄。

適用對象

需要為 AI 應用程式實作護欄與倫理對齊的開發人員與 AI 實踐者，特別是針對 Azure OpenAI 進行最佳化的應用。

亮點

• 全方位護欄：包含對提示注入、越獄、毒性和受限主題的檢查。
• RAG 專用偵測：專用於量化檢索增強生成情境中幻覺的 API。
• 模型透明度：支援多種可解釋性框架，包括 Thread of Thoughts (ThoT) 和 Chain of Verification (CoVe)。
• 全端工具組：包含微前端 UI (Angular)、Python 後端，以及與 Elasticsearch 和 Kibana 的遙測整合。