bilibili/Index-Translate

解決する課題

Index-Translate は、単純なテキスト間変換を超えた、統合された高性能な翻訳システムへのニーズに応えます。画像や音声などのマルチモーダル入力、フォーマットや用語の制約の厳守、音節制御された吹き替え、長文ドキュメントの一貫性など、複雑な翻訳タスクに対する包括的なソリューションを提供します。

仕組み

Qwen3.5 アーキテクチャに基づいて構築されたこのモデルファミリーは、さまざまな翻訳ニーズに合わせて最適化されたバリアントを使用します。テキストベースのモデルを通じて 150 言語をサポートし、マルチモーダルコンポーネントでは画像翻訳にネイティブのビジョンエンコーダー（外部 OCR 不要）を使用し、音声字幕生成 (S2TT) や音声クローンによる音声対音声 (S2ST) 吹き替えにはエンドツーエンドのパイプラインを使用します。このシステムでは、特定の用語集や JSON 構造の保持といった「ハード制約」と、トーンやドメイン固有のスタイルといった「ソフト制約」を翻訳プロセスに組み込むことができます。

対象ユーザー

このプロジェクトは、セルフホストまたは API 経由でアクセス可能な、堅牢な多言語翻訳エンジンを必要とする開発者や研究者を対象としています。自動字幕生成、ローカライズされたコンテンツ制作、用語の一貫性が不可欠な企業向けドキュメント翻訳など、高精度な翻訳を必要とするアプリケーションを構築する際に特に有用です。

ハイライト

• マルチモーダル機能: 画像からテキストへの翻訳、およびエンドツーエンドの音声から音声/字幕への翻訳をネイティブサポート。
• 指示追従: 用語集やフォーマットなどのハード制約と、トーン、スタイル、ドメインなどのソフト制約に対する高度なサポート。
• 制御された吹き替え: タイミングの正確性を確保するために、翻訳を特定の音節数に合わせるための専用モデル。
• 開発者フレンドリー: 無料の OpenAI 互換パブリック API を提供し、vLLM および llama.cpp (GGUF) を介したローカルデプロイメントをサポート。