bilibili/Index-Translate

해결 과제

Index-Translate는 단순한 텍스트 간 변환을 넘어선 통합된 고성능 번역 시스템에 대한 요구를 해결합니다. 멀티모달 입력(이미지 및 오디오), 형식 및 용어 제약 조건의 엄격한 준수, 음절 제어 더빙, 긴 문서의 일관성 등 복잡한 번역 작업을 위한 포괄적인 솔루션을 제공합니다.

작동 원리

Qwen3.5 아키텍처를 기반으로 구축된 이 모델 제품군은 다양한 번역 요구 사항에 맞는 특화된 변형 모델을 사용합니다. 텍스트 기반 모델을 통해 150개 언어를 지원하며, 멀티모달 구성 요소는 이미지 번역을 위해 네이티브 비전 인코더(외부 OCR 불필요)를 사용하고, 음성 자막 생성(S2TT) 및 음성 복제 기반 음성 대 음성(S2ST) 더빙을 위해 엔드투엔드 파이프라인을 사용합니다. 이 시스템을 통해 사용자는 특정 용어집이나 JSON 구조 유지와 같은 '하드 제약 조건'과 어조나 도메인별 스타일과 같은 '소프트 제약 조건'을 번역 과정에 주입할 수 있습니다.

대상 사용자

이 프로젝트는 자체 호스팅하거나 API를 통해 액세스할 수 있는 강력한 다국어 번역 엔진이 필요한 개발자와 연구자를 위한 것입니다. 자동 자막 생성, 현지화된 콘텐츠 제작, 용어 일관성이 중요한 기업용 문서 번역 등 고품질 번역이 필요한 애플리케이션을 구축하는 데 특히 유용합니다.

주요 특징

• 멀티모달 기능: 이미지-텍스트 번역 및 엔드투엔드 오디오-음성/자막 번역에 대한 네이티브 지원.
• 지시 이행: 용어집, 형식과 같은 하드 제약 조건과 어조, 스타일, 도메인과 같은 소프트 제약 조건에 대한 고급 지원.
• 제어된 더빙: 타이밍 정확도를 위해 번역을 특정 음절 수에 맞추는 특화 모델.
• 개발자 친화적: 무료 OpenAI 호환 퍼블릭 API를 제공하며 vLLM 및 llama.cpp (GGUF)를 통한 로컬 배포를 지원.