THU-BPM/MarkLLM

[EMNLP 2024 Demo] MarkLLM: An Open-Source Toolkit for LLM Watermarking

何を解決するか

MarkLLM は、大規模言語モデル(LLM)におけるテキスト水印技術の実装、可視化、評価のための標準化されたツールキットを提供することで、機械生成テキストの識別という課題に対処します。研究者や開発者がAI生成コンテンツの信頼性と出所を保証するのを支援します。

動作方法

MarkLLM は、KGW、SynthID-Text、MorphMark などの幅広い水印アルゴリズムをサポートする統合実装フレームワークを提供します。Hugging Face モデルと連携でき、水印付きテキストの生成とその後の水印検出が可能になります。ツールキットには、アルゴリズムの動作原理を説明する可視化ツールと、水印の検出可能性、パラフレーズや単語削除などの攻撃に対する耐性、生成テキストの品質への影響をテストする評価モジュールも含まれます。

対象ユーザー

テキスト水印、AIセーフティ、機械生成コンテンツの検出に関心を持つAI研究者および広範な開発者コミュニティ向けに設計されています。

主な特徴

  • 多数のアルゴリズム対応: KGW、Unbiased、SynthID-Text など多数の水印手法を実装。
  • 包括的な評価: 成功率、テキスト品質(PPL、BLEU)、さまざまなテキストエディタや攻撃に対する耐性を測定する12のツールを含む。
  • 統一インターフェース: 異なるアルゴリズムの読み込みと呼び出しを簡素化する AutoWatermark クラスを使用。
  • 可視化ツール: 水印アルゴリズムが異なるシナリオでどのように動作するかを明確にするカスタムツールを提供。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト