bpwhelan/GameSentenceMiner

An immersion toolkit for learning Languages through games and other visual media.

解決する課題

GSM (GameSentenceMiner) は、ゲーム中の語学学習における摩擦を解消します。フラッシュカードを手動で作成する面倒なプロセスを自動化し、ゲームを一時停止したりウィンドウを切り替えたりすることなく、ゲームの会話、音声、ビジュアルをキャプチャできます。

仕組み

このアプリケーションは、ゲームと Anki の間のブリッジとして機能します。テキストフックツールや内蔵の OCR (Optical Character Recognition) を使用して、画面から直接ゲームテキストを読み取ります。キャプチャをトリガーすると、関連する音声の録音、スクリーンショットや GIF の撮影が自動的に行われ、データがフラッシュカードデッキに送信されます。また、Yomitan を使用した即時の辞書検索のための透過オーバーレイも提供します。

対象ユーザー

ゲームを没入型学習ツールとして活用し、ゲームプレイの流れを中断することなく「センテンスマイニング」を通じて語彙を増やしたい語学学習者向けに設計されています。

ハイライト

  • 自動フラッシュカード作成： 同期された音声、スクリーンショット、または GIF を含む Anki カードを作成します。
  • 内蔵 OCR： 標準的なテキストフックをサポートしていないゲームからテキストを抽出するためのカスタムテキスト認識技術を使用しています。
  • ゲーム内オーバーレイ： ゲームを離れることなく、即時の辞書検索と振り仮名表示を提供します。
  • 没入感の追跡： 読書進捗、漢字履歴、毎日の目標を追跡するためのダッシュボードが含まれています。

関連

  • プロジェクト
    raine/anki-llm

    LLMとテキスト読み上げを使用して、Ankiフラッシュカードを一括処理、生成、改善するスクリプト可能なCLIツール。

  • プロジェクト
    dominostars/playtranslate

    OCR技術を使用してゲーム、ビジュアルノベル、漫画のテキストを画面上で直接翻訳する、Android向けのリアルタイム翻訳・言語学習アプリです。

  • プロジェクト
    THUSI-Lab/GameScaling

    GameScalingは、1,600時間のキーボード・マウス操作によるゲームプレイデータで継続事前学習を行い、リアルタイムでコンピュータゲームをプレイできるようにした一連の視覚言語モデルです。各モデルは現在の画面（および短い履歴）を入力として受け取り、次の200ミリ秒分の入力（33ミリ秒のキー操作6回分と、マウスの移動およびスクロール1回分）を出力します。リポジトリには、推論クライアント、システムプロンプトテンプレート、サンプル、および公開されたチェックポイントをサービングするためのテストが含まれています。

  • Dispatch
    SubSmith 言語学習プラットフォーム – 概要とコミュニティの反応

    SubSmith では、任意の動画やオーディオファイルをドロップして字幕を生成し、単語をホバーで翻訳し、Anki にフラッシュカードをエクスポートできます。個人のメディアからインマージョン型の言語学習を手頃で効率的に実現することを目指しています。

  • プロジェクト
    thanhkeke97/RSTGameTranslation

    RSTGameTranslationはWindows専用ツールで、ゲームの画面領域をキャプチャし、OCRを実行し、テキストをAI翻訳者（Google、Gemini、Ollamaなど）に送信し、翻訳をゲームに描画します。また、音声からテキスト（Whisper/FunASR）とオフラインのテキスト読み上げ（Supertonic）もサポートしています。ユーザーはウィンドウまたは長方形を選択し、言語と翻訳者を設定し、ホットキーで全てを制御します。このアプリは、未翻訳のゲームをプレイしたり、マンガを読んだり、ライブ字幕でストリーミングするのに役立ちます。