Infosys/Infosys-Responsible-AI-Toolkit

解决的问题

此工具包解决了 AI 解决方案对可信度和透明度的需求。它提供了一套全面的 API，可将安全性、安全性、隐私性、可解释性、公平性和幻觉检测整合到生成式 AI 和传统机器学习模型中，帮助开发者监管内容并降低风险。

工作原理

此工具包由模块化 API 和支持性用户界面组成。它使用“审核层”来监管 LLM 提示和响应，并针对负责任 AI 的不同原则提供专用 API：

• 安全与隐私：检测并匿名化 PII、有毒文本和亵渎内容。
• 可解释性：提供 ML 模型的全局和局部解释（使用 SHAP 和 LIME），以及 LLM 的特定方法（例如 Chain of Thought 和 Graph of Thought）。
• 公平性：使用统计方法检测偏见，并提供重新加权等缓解技术。
• 幻觉：量化 LLM 响应中的幻觉，特别是在 RAG 场景中。
• 安全性：检查提示注入和越狱。

适用人群

需要为 AI 应用程序实现护栏和伦理对齐的开发者和 AI 实践者，特别是针对 Azure OpenAI 进行优化的应用。

亮点

• 全面护栏：包括对提示注入、越狱、毒性和受限主题的检查。
• RAG 专用检测：用于量化检索增强生成场景中幻觉的专用 API。
• 模型透明度：支持多种可解释性框架，包括 Thread of Thoughts (ThoT) 和 Chain of Verification (CoVe)。
• 全栈工具包：包括微前端 UI (Angular)、Python 后端，以及与 Elasticsearch 和 Kibana 的遥测集成。