makcedward/nlpaug

何を解決するか

多くの機械学習モデルは、良好な性能を発揮するためには大量のラベル付きデータを必要としますが、そのデータを手動で作成するのは時間のかかる作業です。nlpaug は、既存のテキスト、音声、スペクトログラムデータを拡張することで、合成トレーニングデータを自動的に生成する手段を提供し、手動での作業なしにモデルの性能と頑健性を向上させます。

動作方法

このライブラリは Augmenter オブジェクトのシステムを使用してデータを変更します。3つの主要なモダリティをサポートしています：

• テキスト： 文字（キーボードやOCRエラーを模倣）、単語（同義語、反意語、またはBERT、RoBERTa、Word2Vecなどの埋め込みを使用）、文（GPT-2やXLNetを使用）を変更します。
• 音声： ピッチ、速度、音量の調整やノイズの注入といった信号処理技術を適用します。
• スペクトログラム： 時間と周波数のマスキング、音量の調整を音声の視覚的表現に適用します。

ユーザーは Flow を使って、複数の拡張関数を順次またはランダムに適用するパイプラインを作成できます。

対象ユーザー

自然言語処理、音声、音声認識プロジェクトのトレーニングデータセットを拡張したい機械学習エンジニアやデータサイエンティスト向けに設計されています。

特徴

• マルチモーダル対応： 1つのライブラリでテキスト、音声、スペクトログラムを扱えます。
• 統合用に設計： 一般的なニューラルネットワークフレームワークと即時接続可能。
• 豊富な拡張メソッド： 単純なランダム交換から、Transformerを介した高度な文脈付き単語埋め込みまで、すべてをカバー。
• パイプラインオーケストレーション： Flow システムにより、複数の拡張器を連結して使用可能。