readbeyond/aeneas

何を解決するか

aeneas は「強制同期（forced alignment）」という問題を解決するように設計されています。これは、テキストファイル（断片のリストを含む）と、そのテキストを朗読するオーディオファイルを自動的に同期するプロセスです。これにより、ユーザーはオーディオ録音で各テキストがいつ発話されたかを正確なタイムスタンプ付きでマッピングできます。

動作方法

このツールは、eSpeak、AWS Polly、Nuance などの Text-to-Speech（TTS）エンジンを組み合わせて、テキストの参照オーディオを合成します。その後、MFCC（メル周波数ケプストラル係数）と DTW（動的時系列ワーピング）を使用して、この合成音声と実際の朗読音声を比較し、各テキスト断片の正確な時間間隔を特定します。

対象ユーザー

主に研究者、デジタル出版者（例：EPUB 3用）、クローズドキャプション（SRT、VTT）の作成者で、単語レベルから段落レベルまで、さまざまな粒度でテキストとオーディオを同期する必要がある人向けです。

主な特徴

• 広範なフォーマット対応：JSON、SRT、VTT、SMIL、TextGrid など、多数のフォーマットで同期マップを出力可能。
• 多言語対応：38の異なる言語で正常に動作することが確認済み。
• 柔軟な粒度：単語レベルから段落レベルまで、さまざまな粒度での同期をサポート。
• 耐障害性：背景ノイズ、一時的なノイズ、わずかな発音ミスなどに対して堅牢に設計。
• バッチ処理：ジョブコンテナを介して複数のオーディオ/テキストペアを処理可能。
• 統合性：複数のTTSエンジン用ラッパーを含み、YouTubeからのオーディオダウンロードもサポート。