fossasia/voxbento

What it solves

Voxbentoは、ライブイベント向けに設計されたリアルタイム通訳プラットフォームです。ブラウザベースの体験を提供することで、専用ハードウェアの設置を不要にし、同時通訳者がイベントのビデオを監視しながら、非常に低いレイテンシで参加者へ翻訳されたオーディオを配信できる仕組みを提供します。

How it works

このシステムは、MediaMTXを介してWebRTC、WHIP、およびWHEPプロトコルを組み合わせて使用し、1秒未満のレイテンシでオーディオストリーミングを処理します。通訳者はブラウザベースのインターフェースを使用して、Jitsi経由で会場の様子を監視し、翻訳されたオーディオをストリーミングします。FastAPIポータルが調整、状態管理、および認証を管理します。自動化機能については、「floor-bot」がJitsiミーティングに参加し、ffmpegを使用して、Deepgram、OpenAI、Groq、Anthropic、またはGeminiといったプロバイダーを使用してバックグラウンドで文字起こしと翻訳を行います。

Who it’s for

ライブ翻訳とオーディオ配信のための、スケーラブルでインストール不要なソリューションを必要とするイベント主催者および同時通訳者。

Highlights

• Zero-install experience: 通訳者と参加者の両方にとって、ブラウザ内で完全に動作します。
• Low-latency audio: WebRTC/WHIP/WHEPを利用して、ほぼ瞬時にオーディオを配信します。
• Flexible synchronization: 主催者がリスナー側のオーディオ遅延を追加することで、翻訳オーディオを遅延したビデオストリームと同期させることが可能です。
• AI Integration: 複数のサードパーティAIプロバイダー、またはローカルのNVIDIA Rivaモデルを介したバックグラウンド文字起こしと翻訳をサポートします。