tmoroney/auto-subs

AutoSubs – オフラインAI字幕：動画編集者向け

何ができるか AutoSubsは、オーディオまたは動画ファイルをタイムスタンプ付きの字幕ファイルに変換するデスクトップアプリです。すべての処理は自宅のコンピュータ上で完結し、完全にオフラインで動作します。数十種類の音声認識モデル（OpenAI Whisper、Moonshine、Parakeet、SenseVoiceなど）をサポートしており、自動的に話者を識別できます。生成された字幕はSRTまたはプレーンテキスト形式でエクスポート可能で、DaVinci Resolve、Adobe Premiere Pro、After Effectsなどの人気編集ツールに直接送信できます。

なぜ重要か

• プライバシー最優先 – クラウドへの通信なし。すべての処理はデバイス内に留まる。高品質な音声認識ツールでは珍しい。
• クリエイティブワークフローとの統合 – 業界標準のNLE向けの直接プラグインにより、編集者はタイムラインから離れずに字幕の生成・微調整が可能。
• モデルの柔軟性 – 小さくて高速なモデルから、大規模で高精度なWhisper-large、ロシア語・中国語など専用モデルまで、スピード、RAM使用量、精度のバランスを自由に選べる。
• クロスプラットフォーム – Windows、macOS（Intel & Apple Silicon）、Linux向けネイティブインストーラーを提供。Homebrewもサポート。

動作方法

1. スタンドアロンUIまたはResolve/Adobe拡張機能からソースファイル（オーディオまたは動画）を選択。
2. 内蔵のモデルマネージャーから音声認識モデルを選択。必要に応じてモデルファイルをダウンロード。
3. 音声は選択したモデル（Whisper-rs、ONNX Runtime、その他のバックエンド経由）で処理。VADモデルで会話部分を抽出、話者分離（diarization）モデルで話者をタグ付け、オプションで強制同期（forced-alignment）モデルで単語レベルのタイムスタンプを追加。
4. UIで生成された字幕を編集可能。話者ラベル、タイミング、スタイルを調整可能。
5. エクスポート – SRTファイルとして保存、クリップボードにコピー、またはResolve/Premiere/After Effectsに直接送信。

主な技術的要素

• Rustベースのコア – Whisperにはwhisper-rs、ONNXモデルにはtranscribe-rs、話者分離にはpyannote-rsを使用。
• モデルマネージャー – モデルファイルのオンデマンドダウンロード、検証、キャッシュを管理（サイズは約60MB～3GB以上）。
• 統合機能 –
  • DaVinci Resolve：Luaサーバー＋Fusionマクロ。タイムラインのオーディオを読み取り、字幕トラックを書き込む。
  • Adobe：CEP拡張。Premiere Pro/After Effectsと通信し、SRTのインポート／エクスポートを可能に。
• CLI – スクリプトやヘッドレス運用向けの完全なコマンドラインインターフェース（CLI.mdを参照）。

誰に向けか

• クラウドサービスの課金なしで、迅速かつ正確な字幕が必要な動画編集者。
• データプライバシーに配慮するクリエイター。
• ローカルで実行可能な音声認識スタックを求める開発者。オープンソースのRustコードでアプリを拡張可能。

導入方法 リリースページから適切なインストーラーをダウンロード（macOSの場合はbrew install --cask auto-subs）。起動後、READMEのクイックスタート手順に従って字幕を生成するか、バッチ処理用のCLIガイドを参照。

ライセンスとモデル利用条件 アプリケーションコードはMITライセンス。音声認識モデルは別途ダウンロードされ、それぞれ元のライセンスが適用される（例：MMSの強制同期重みはCC BY-NC 4.0）。ユーザーは各モデルのライセンスに準拠する必要がある。

---

すべての詳細はリポジトリのREADMEから直接引用。追加機能は推測されていない。