THU-BPM/MarkLLM

[EMNLP 2024 Demo] MarkLLM: An Open-Source Toolkit for LLM Watermarking

解决的问题

MarkLLM 通过提供一个标准化的工具包,支持在大型语言模型(LLMs)中实现、可视化和评估文本水印技术,解决了识别机器生成文本的挑战。它帮助研究人员和开发者确保 AI 生成内容的真实性与来源。

工作原理

MarkLLM 提供了一个统一的实现框架,支持多种水印算法(如 KGW、SynthID-Text 和 MorphMark)。它与 Hugging Face 模型集成,允许用户生成带水印的文本,并随后检测这些水印。该工具包还包含可视化工具,用于解释算法的底层机制,以及评估模块,用于测试水印的可检测性、对攻击(如改写或删除单词)的鲁棒性,以及对生成文本质量的影响。

适用人群

专为对文本水印、AI 安全性以及机器生成内容检测感兴趣的 AI 研究人员和更广泛的开发者社区设计。

主要亮点

  • 广泛的算法支持:实现了多种水印方法,包括 KGW、Unbiased 和 SynthID-Text。
  • 全面的评估:包含 12 个工具,用于测量成功率、文本质量(PPL、BLEU),以及对各种文本编辑器和攻击的鲁棒性。
  • 统一接口:使用 AutoWatermark 类简化不同算法的加载和调用。
  • 可视化工具:提供定制工具,揭示水印算法在不同场景下的运行机制。

相关

  • 项目
  • 项目
  • 项目
  • 项目