HowieHwong/TrustLLM

它解决了什么问题

TrustLLM 提供了一种标准化方法来衡量大型语言模型 (LLMs) 的可信度。它不依赖单一指标，而是从六个关键维度评估模型：真实性、安全性、公平性、稳健性、隐私和伦理。这有助于研究人员和开发者识别模型行为中的特定弱点，例如产生幻觉、泄露隐私信息或表现出偏见的倾向。

运作方式

该工具包采用三步骤流程：

1. 数据获取：用户下载包含旨在测试六个可信度维度提示词的综合基准数据集。
2. 生成：工具包通过 API（如 OpenAI）或加载本地权重（通过 Hugging Face）将这些提示词输入目标模型，并保存响应。
3. 评估：评分引擎使用基于规则的检查、分类器、嵌入或 AI 评审员的组合来处理生成的结果，并产生最终的可信度分数。

目标对象

专为需要在部署前或作为学术研究的一部分，严格基准测试 LLM 可靠性和安全性的 AI 研究人员与开发者所设计。

特色亮点

• 六维度分析：涵盖真实性、安全性、公平性、稳健性、隐私和伦理。
• 灵活的后端：支持本地模型权重与基于 API 的生成。
• Python API：提供命令行界面 (CLI) 和 Python 库进行编排。
• 自动化报告：为生成进度和最终评估分数生成 HTML 报告。