mozilla/translations

何を解決するか

このプロジェクトは、ユーザーのデバイス上でFirefoxブラウザ内でローカルに実行される機械翻訳モデルをトレーニングおよびデプロイするインフラを提供し、クラウドベースの翻訳サービスに依存するのではなく、ユーザーの端末上で処理を行うことを可能にします。

仕組み

Marian NMTエンジンを使用して高速な翻訳を実現し、エンドツーエンドのトレーニングパイプラインを提供します。このプロセスは、Taskcluster（ハイブリッドクラウドのスケーラビリティを実現）やSnakemake（ローカルまたはSlurmクラスタでの実行）といったオーケストレーターによって管理されます。トレーニングのメトリクスは、ログを解析してWeights & Biasesに公開するカスタムモジュールによって追跡されます。

対象ユーザー

ウェブブラウザ向けに効率的なクライアントサイド機械翻訳モデルを構築したい開発者や研究者。

主な特徴

• クライアントサイド重視：Bergamotプロジェクトに特化しており、ブラウザ内で直接翻訳を可能にする。
• エンドツーエンドのパイプライン：データセットの選択・クリーニングから最終的なモデルトレーニングまでをすべてカバー。
• スケーラブルなオーケストレーション：Taskclusterを介してハイブリッドクラウドワーカーをサポート。
• オープンモデル：トレーニング済みモデルは、MPL 2.0ライセンスのもと、パブリックなGoogle Cloud Storageバケットにホストされています。