bquenin/interpreter

Interpreter – 일본 레트로 게임용 오프라인 화면 번역기

무엇인가요 – 어떤 창(일반적으로 일본 레트로 게임)의 이미지를 캡처하고, 캡처한 프레임에 OCR을 적용하여 추출된 일본어 텍스트를 영어로 번역한 후, 자막으로 표시하는 데스크톱 애플리케이션입니다. 모든 처리는 로컬에서 이루어지며, 클라우드 서비스는 사용되지 않습니다.

주요 기능

• 완전 오프라인 – 초기 모델 다운로드(약 1.5GB) 이후 인터넷 연결 없이 작동하며, 데이터의 프라이버시를 보장합니다.
• OCR – 픽셀 단위의 일본어 게임 폰트로 훈련된 MeikiOCR 를 사용하여 저해상도 스크린샷에서 텍스트를 인식합니다.
• 번역 – CTranslate2를 통해 Hugging Face에서 호스팅되는 Sugoi V4 일본어 → 영어 모델을 사용해 영어 자막을 생성합니다.
• 두 가지 오버레이 스타일 –
  • 배너 모드: 화면 하단의 드래그 가능한 자막 바.
  • 인플레이스 모드: 원본 일본어 문자 위에 투명 텍스트를 직접 렌더링하며, 클릭 스루 가능하여 게임 플레이에 방해가 없습니다.
• 캐시 – 이전에 본 문자열을 흐린 매칭으로 확인하여 동일하거나 유사한 텍스트의 재번역을 방지해 속도를 향상시킵니다.
• 다중 디스플레이 지원 – 오버레이는 캡처된 창과 동일한 모니터에 표시됩니다.

지원 플랫폼

• Windows 10 (1903+)
• macOS
• Linux (X11, XWayland, Wayland) – Wayland의 경우 추가 주의사항 있음 (글로벌 핫키, PipeWire 캡처, 전체 화면 전용 인플레이스 오버레이).

설치

• macOS/Linux용 원라인 스크립트 (curl … | bash) 및 Windows PowerShell용 (irm … | iex).
• 설치 프로그램은 바이너리 interpreter-v2, 필요한 라이브러리 및 OCR/번역 모델을 다운로드합니다.

프로그램 실행 방법

interpreter-v2

대상 창 선택, 오버레이 모드 선택, OCR 신뢰도 조정, 기타 설정 조정이 가능한 GUI를 시작합니다.

내부 동작 방식

1. 화면 캡처 – 설정 가능한 속도로 선택한 창에서 프레임을 가져옵니다.
2. OCR – 각 프레임을 MeikiOCR에 전달하여 일본어 텍스트와 화면 좌표를 추출합니다.
3. 번역 – CTranslate2를 통해 Hugging Face에서 호스팅되는 Sugoi V4 모델에 추출된 문자열을 전달하여 빠른 CPU/GPU 추론을 수행합니다.
4. 표시 – 영어 텍스트를 화면 하단의 배너 또는 원본 글자 위에 직접 렌더링합니다.

README의 문제 해결 팁

• OCR 품질이 낮은 경우: 신뢰도 슬라이더를 조정하세요. 낮은 값은 더 많은 텍스트를 캡처하지만 노이즈도 증가할 수 있습니다.
• 성능이 느린 경우: 첫 실행 시 모델이 다운로드됩니다. 이후 실행은 ~/.cache/huggingface/에 캐시된 복사본을 사용합니다.

왜 중요한가요 – 일본어 레트로 게임을 외부 번역 서비스에 의존하지 않고 플레이할 수 있는 실용적이고 프라이버시를 보호하는 AI 파이프라인(캡처 → OCR → 뉴럴 기계 번역)의 구체적인 사례를 보여줍니다.