bpwhelan/GameSentenceMiner

何を解決するか

GameSentenceMiner (GSM) は「文の抽出」——ゲームから語学学習用のフラッシュカードを作成するプロセス——を簡素化します。手動でゲームプレイ中のテキスト、音声、画像をキャプチャしてAnkiにインポートする煩わしさを排除し、ゲームに没頭しながら言語を学ぶことを可能にします。

動作方法

GSM はゲームとAnkiの間のブリッジとして機能します。テキストの抽出には以下の方法を用います：

• テキストフック： Agent や Textractor などのツールと連携し、ゲームのメモリから直接テキストを取得します。
• OCR（光学文字認識）： テキストフックに対応していないゲームには、カスタムフォークされた OwOCR を使用して、カスタマイズ可能なキャプチャ領域から画面のテキストを読み取ります。
• コンテキストのキャプチャ： Voice Activity Detection (VAD) を使って、音声の発話タイミングで自動的に音声を記録・トリムし、発話された瞬間のゲーム画面のスクリーンショット（またはGIF）を取得します。
• オーバーレイ： 透明なオーバーレイにより、ゲームウィンドウから離れることなく Yomitan を使って即座に辞書検索が可能です。

対象ユーザー

目標言語でゲームをプレイして語彙を増やし、文脈に基づいたフラッシュカードで言語を習得したい語学学習者。

特徴

• 自動Anki連携： 音声、スクリーンショット、GIFを自動でフラッシュカードに追加します。
• 統合OCR： テキストフックに対応しないゲーム用に内蔵OCRを搭載。
• VAD駆動音声： Voice Activity Detection を使って特定の声のセリフをキャプチャします。
• インマージョン追跡： 漢字グリッドと日次読解目標を備えた統計ダッシュボード。
• AI翻訳： APIキーによるオプションの文翻訳機能を提供。