OpenMOSS/MOSS-Transcribe-Diarize

解決する課題

MOSS-Transcribe-Diarize は、会議、ポッドキャスト、インタビューなどの長尺・マルチスピーカーの音声録音を構造化された文字起こしに変換するために設計されています。自動音声認識（ASR）と話者分離の別々のシステムを組み合わせる必要をなくし、両方のタスクを単一のパスで同時に実行します。

仕組み

このモデルは、Whisper-Medium オーディオエンコーダーと Qwen3-0.6B スタイルの因果デコーダーを組み合わせたエンドツーエンドのアーキテクチャを使用しています。生の音声を30秒のチャンクで処理し、時間的マージと MLP アダプターを使用して音声特徴をテキストバックボーンに橋渡しします。その後、モデルは各セグメントに開始/終了タイムスタンプと話者ラベル（例：[S01]、[S02]）が付いたコンパクトな文字起こしを生成します。

対象ユーザー

音声コンテンツを扱う開発者や研究者を対象としており、特に50以上の言語の長尺で複雑な録音に対して信頼性の高い文字起こしと話者識別を必要とする人々向けです。

ハイライト

• エンドツーエンド処理：文字起こし、話者分離、タイムスタンプ付与を1回のパスで実行。
• 高性能：文字誤り率（CER）のさまざまな客観的ベンチマークで、GPT-4o や Gemini などの複数のプロプライエタリモデルを上回ります。
• 柔軟なデプロイ：SGLang Omni、vLLM を介したデプロイと FunASR エコシステムとの統合をサポート。
• 字幕ツール：音声/動画のアップロード、セグメントのレビュー、JSON、SRT、ASS 形式での字幕エクスポートが可能な Web アプリが含まれています。
• カスタマイズ可能：特定の用語の文字起こし精度を向上させるためのカスタムプロンプトとホットワードをサポート。