mozilla/translations

해결하는 문제

이 프로젝트는 클라우드 기반 번역 서비스에 의존하지 않고, 사용자의 장치에서 Firefox 브라우저 내부에서 로컬로 실행되는 기계 번역 모델을 훈련하고 배포할 수 있는 인프라를 제공합니다.

작동 방식

빠른 번역을 위해 Marian NMT 엔진을 사용하며, 엔드투엔드 훈련 파이프라인을 제공합니다. 이 과정은 Taskcluster(하이브리드 클라우드 확장성 제공) 또는 Snakemake(로컬 또는 Slurm 클러스터 실행)와 같은 오케스트레이터에 의해 관리됩니다. 훈련 메트릭은 로그를 분석하여 Weights & Biases에 게시하는 커스텀 모듈을 통해 추적됩니다.

대상 사용자

웹 브라우저용 효율적인 클라이언트 측 기계 번역 모델을 구축하고자 하는 개발자 및 연구자.

주요 특징

• 클라이언트 측 중심: Bergamot 프로젝트를 위해 특별히 설계되어 브라우저 내에서 직접 번역을 가능하게 합니다.
• 엔드투엔드 파이프라인: 데이터셋 선택 및 정제부터 최종 모델 훈련까지 모든 과정을 처리합니다.
• 확장 가능한 오케스트레이션: Taskcluster를 통해 하이브리드 클라우드 워커를 지원합니다.
• 오픈 모델: 훈련된 모델은 MPL 2.0 라이선스 하에 공개된 Google Cloud Storage 버킷에 호스팅됩니다.