facebookresearch/vizseq

VizSeq – テキスト生成のためのビジュアル分析ツールキット

概要 – VizSeqは、研究者やエンジニアがテキスト生成システム（機械翻訳、要約、画像キャプション、音声翻訳、ビデオ記述など）の出力を検査するためのPythonライブラリです。ソースデータ、参照テキスト、モデルの予測を受け取り、さまざまな自動メトリクスを計算し、Jupyterノートブックや軽量なWebアプリから探索できるインタラクティブなビジュアライゼーションで結果を表示します。

重要性 – 現代の生成モデルは大量の出力を生成し、生のメトリクススコア（BLEU、ROUGE、BERTScoreなど）はしばしば系統的なエラーを隠します。VizSeqを使用すると、例を閲覧し、複数のシステムを並べて比較し、文ごとのスコア、エラータイプ、埋め込みベースの類似度にドリルダウンできます。すべてマルチプロセスで高速化されています。これにより、デバッグ、モデル選択、論文執筆が高速化されます。

主な機能

• マルチモーダル対応 – プレーンテキスト、画像キャプション、音声/オーディオファイル、ビデオ記述データに対応。
• 豊富なメトリクススイート – 古典的なn-gramメトリクス（BLEU、METEOR、TER、ROUGE、CIDErなど）に加え、埋め込みベースのスコア（LASER、BERTScore）。すべてのメトリクスは並列化されています。
• インタラクティブなビジュアライゼーション – ノートブックではソート可能なテーブル、散布図、例ごとのビューを表示。同梱のWebサーバーはブラウザで同じUIを提供。
• Fairseq統合 – FacebookのFairseqトレーニングパイプラインに直接プラグインし、追加の変換コードなしで結果を可視化。
• 拡張可能 – オプションの追加機能により、オーディオ処理、Google翻訳ルックアップ、PyTorchを必要とする重い埋め込みスコアラーを追加できます。

典型的なワークフロー

1. パッケージ（pip install vizseq）と必要なオプションの追加機能をインストールします。
2. 以下を含むフォルダを準備します：
   • ソースファイル（テキスト、画像パス、オーディオファイルなど）
   • 参照テキスト
   • モデルの予測
3. 提供されたスコアラー（例：vizseq-score）を実行してJSON/TSVレポートを生成します。
4. ビジュアライザーを起動します：
   • ノートブック内：import vizseq; vizseq.show(report_path)
   • またはWebサーバーを起動：vizseq-server --port 9001 --data-root ./examples/data を実行し、ブラウザでURLを開きます。
5. UIを使用してスコアでフィルタリング、長さでソート、複数のシステムを比較、論文用の図をエクスポートします。

インストール

# コアパッケージ（Python 3.11+）
pip install vizseq

# オプションの追加機能（必要に応じて選択）
pip install vizseq[embeddings]   # LASER、BERTScore（torchを追加）
pip install vizseq[audio]        # .wav/.flac/.sph対応
pip install vizseq[translate]    # Google翻訳API
pip install vizseq[all]          # すべて

リポジトリをクローンした後、pip install -e . でソースからインストールすることもできます。

ドキュメントと例 – プロジェクトは完全なドキュメントサイト（https://facebookresearch.github.io/vizseq）をホストしており、基本的な使用法、マルチモーダルMT、多言語MT、音声翻訳のステップバイステップのノートブックがあります。クイックスタートのWebアプリデモも提供されています。

ライセンス – MIT（寛容、商用利用可能）。

引用 – 出版物でVizSeqを使用する場合は、EMNLP-2019システムデモを引用してください：

@inproceedings{wang2019vizseq,
  title = {VizSeq: A Visual Analysis Toolkit for Text Generation Tasks},
  author = {Changhan Wang and Anirudh Jain and Danlu Chen and Jiatao Gu},
  booktitle = {Proceedings of EMNLP 2019: System Demonstrations},
  year = {2019}
}

連絡先 – Changhan Wang（changhan@fb.com）およびJiatao Gu（jgu@fb.com）。