THU-BPM/MarkLLM

[EMNLP 2024 Demo] MarkLLM: An Open-Source Toolkit for LLM Watermarking

解決的問題

MarkLLM 透過提供一個標準化的工具包,支援在大型語言模型(LLMs)中實現、視覺化和評估文字水印技術,解決了識別機器生成文字的挑戰。它幫助研究人員和開發者確保 AI 生成內容的真實性與來源。

運作方式

MarkLLM 提供一個統一的實作框架,支援多種水印演算法(如 KGW、SynthID-Text 和 MorphMark)。它與 Hugging Face 模型整合,允許使用者產生帶水印的文字,並隨後檢測這些水印。該工具包也包含視覺化工具,用以解釋演算法的底層機制,以及評估模組,用以測試水印的可偵測性、對攻擊(如改寫或刪除文字)的韌性,以及對生成文字品質的影響。

適用對象

專為對文字水印、AI 安全性以及機器生成內容檢測感興趣的 AI 研究人員與更廣泛的開發者社群設計。

主要亮點

  • 廣泛的演算法支援:實作多種水印方法,包括 KGW、Unbiased 和 SynthID-Text。
  • 全面的評估:包含 12 個工具,用以測量成功率、文字品質(PPL、BLEU),以及對各種文字編輯器與攻擊的韌性。
  • 統一介面:使用 AutoWatermark 類簡化不同演算法的載入與呼叫。
  • 視覺化工具:提供客製化工具,揭示水印演算法在不同情境下的運作機制。

相關

  • 專案
  • 專案
  • 專案
  • 專案