bpwhelan/GameSentenceMiner

해결하는 문제

GameSentenceMiner (GSM)는 게임에서 "문장 채굴" — 게임에서 언어 학습용 플래시카드를 만드는 과정 — 을 간소화합니다. 수동으로 게임 플레이 중 텍스트, 오디오, 이미지를 캡처하여 Anki에 가져오는 번거로움을 제거하여, 게임 몰입을 통해 언어를 배울 수 있도록 합니다.

작동 방식

GSM은 게임과 Anki 사이의 다리 역할을 합니다. 텍스트 추출을 위해 여러 방법을 사용합니다:

• 텍스트 훅킹: Agent 또는 Textractor와 같은 도구와 통합하여 게임 메모리에서 직접 텍스트를 추출합니다.
• OCR (광학 문자 인식): 텍스트 훅이 지원되지 않는 게임의 경우, 사용자 정의 Fork된 OwOCR를 사용하여 사용자 지정 캡처 영역을 통해 화면에서 텍스트를 직접 읽습니다.
• 컨텍스트 캡처: 음성 활동 탐지(VAD)를 사용하여 음성 대사를 자동으로 녹음하고 자르며, 대사가 말해지는 순간의 게임 상태 스크린샷(또는 GIF)을 캡처합니다.
• 오버레이: 투명 오버레이를 통해 게임 창을 벗어나지 않고도 Yomitan을 사용해 즉시 사전 검색이 가능합니다.

대상 사용자

목표 언어로 게임을 플레이하여 어휘를 쌓고 문맥 기반 플래시카드를 통해 언어를 습득하고자 하는 언어 학습자.

주요 기능

• 자동 Anki 통합: 오디오, 스크린샷, GIF를 자동으로 플래시카드에 추가합니다.
• 통합 OCR: 텍스트 훅을 지원하지 않는 게임용 내장 OCR 기능.
• VAD 기반 오디오: 음성 활동 탐지를 사용해 특정 음성 대사를 캡처합니다.
• 몰입 추적: 한자 그리드와 일일 독해 목표를 갖춘 통계 대시보드.
• AI 번역: API 키를 통한 문장 번역 기능을 옵션으로 제공합니다.