KRLabsOrg/LettuceDetect

解决的问题

LettuceDetect 是一个用于识别 AI 生成输出中幻觉的细粒度（span-level）验证器。与传统验证器对整个回答仅提供通过/失败判断不同，该工具基于提供的源证据，精确定位出未被支持、矛盾或捏造的具体字符片段。

工作原理

系统使用 token 级别分类来预测在给定上下文和问题的情况下，回答中的特定部分是否为幻觉。它提供两种主要模型类型：

• 编码器模型（例如基于 ModernBERT 或 EuroBERT）：快速、本地运行的模型，为每个文本片段提供二元幻觉标志。
• 生成式模型（例如基于 Qwen-2B）：可在单次处理中识别并分类幻觉片段，例如归类为“矛盾”或“数值”等类别。

适用人群

专为实现 RAG（检索增强生成）系统、代码代理和工具驱动型 AI 工作流的开发者设计，适用于需要高精度幻觉检测以确保 AI 回答事实准确性的场景。

核心亮点

• 细粒度定位：不只标记整个回答，而是精确定位幻觉文本的字符偏移位置。
• 多语言支持：支持英语及多种其他语言（包括德语、法语、西班牙语、意大利语、波兰语和中文）。
• 广泛适用性：适用于散文、多语言问答、代码代理回答（检测虚构 API 或错误值）、开发者工具输出等场景。
• 灵活部署：提供 Python API、Web API 和 Streamlit 演示，便于集成。