tmoroney/auto-subs

解決する課題

AutoSubsは、データをクラウドに送信することなく、音声および動画ファイルの文字起こしを可能にするローカルファーストのAI字幕生成ツールです。高額なサブスクリプションの必要性を排除し、すべての文字起こしと翻訳タスクをデバイス上で行うことでプライバシーを確保します。

仕組み

このアプリケーションは、音声文字起こしと話者識別のために複数のローカルAIモデルを活用しています。OpenAIのWhisperモデルには whisper-rs を、Moonshine、Parakeet、Canary、Cohereを含むその他の様々なモデルにはONNX Runtimeを使用しています。また、音声活動検知（VAD）にはSilero VADモデルを、異なる話者を識別してラベル付けするために専用の話者ダイアリゼーションモデルを組み込んでいます。

対象ユーザー

高品質でプライバシーに配慮したローカル文字起こしを必要とするコンテンツクリエイター、動画編集者、翻訳者向けです。DaVinci Resolve、Adobe Premiere Pro、Adobe After Effectsなどのプロ仕様の動画編集ソフトウェアと連携するように特別に設計されています。

特徴

• ローカルファースト処理: すべての文字起こしと翻訳はデバイス上で行われ、データがマシンから外部に出ることはありません。
• 幅広いモデルサポート: さまざまな言語や精度レベルに対応するため、幅広いモデル（Whisper, Moonshine, Parakeet, SenseVoice, Canary, Cohere, GigaAM）をサポートしています。
• プロ仕様の連携: DaVinci Resolveへの直接接続、およびAdobe Premiere ProとAfter Effects用のCEP拡張機能に対応しています。
• 話者ダイアリゼーション: 話者ごとにスタイリングできるよう、異なる話者を識別してラベル付けする機能を備えています。
• クロスプラットフォーム: macOS、Windows、Linuxで利用可能です。