Rescript: オープンソース、ブラウザベースのDescriptの代替

Rescriptは、テキストドキュメントのようにビデオファイルを編集できるオープンソースのトランスクリプトベースのビデオエディターです。生成されたトランスクリプトから単語を削除すると、対応するセグメントがビデオから自動的にカットされ、ブラウザ内で完全にオンデバイスで動作する合理化されたワークフローが提供されます。

ローカル処理とプライバシー

Rescriptはデフォルトでプライベートになるように設計されており、メディアとトランスクリプトがユーザーのデバイスから離れることはありません。サーバーサイドの処理、認証、ファイルアップロードは必要ありません。

AIモデル（約90 MB）は最初のトランスクリプト時にHugging Face Hubからダウンロードされ、ブラウザストレージにキャッシュされますが、その後のすべての操作（トランスクリプト、編集、エクスポートを含む）はインターネット接続なしで機能します。アプリケーションが行う唯一の外部リクエストは、Google Analyticsを介した匿名のページアナリティクスで、ユーザーがオフラインのときは静かに失敗します。

主な技術的特徴

• Word-Level Editing: ユーザーは特定の単語を選択し、バックスペースを押してビデオから対応するクリップを削除できます。
• Filler Word Removal: ワンクリック機能で、「um」や「uh」などの一般的なフィラーワードを識別して削除します。
• Verbatim Mode: このモードでは、トランスクリプトエンジンにフィラーワードをトランスクリプトに保持させ、手動編集を行います。
• Speaker Diarization: トランスクリプトは話者ごとに自動的にグループ化され、ダイアログを整理します。
• Real-Time Preview: 再生エンジンはリアルタイムでカットされた領域をスキップし、編集をすぐに確認できます。
• In-Browser Export: アプリケーションは ffmpeg.wasm を使用して、ローカルでフレーム正確なMP4レンダリングを行います。

技術スタック

コンポーネント	テクノロジー
フレームワーク	Next.js, React, TypeScript, Tailwind
トランスクリプト	transformers.js を実行し、whisper-base_timestamped (WebGPU に WASM フォールバック) を Web Worker 内で動作させます
話者ラベル	pyannote-segmentation-3.0 (ONNX)
メディア処理	マルチスレッド ffmpeg.wasm を使用したオーディオの抽出とエクスポート
状態管理	zustand

編集ワークフローの仕組み

1. 抽出: ffmpeg.wasm がオーディオトラックをモノラル 16 kHz PCM にデコードします。
2. トランスクリプト: Whisper が `return_timestamps: