bpwhelan/GameSentenceMiner

An immersion toolkit for learning Languages through games and other visual media.

解决的问题

GSM (GameSentenceMiner) 消除了游戏过程中语言学习的阻碍。它自动化了手动创建闪卡的繁琐过程，让你无需暂停或离开游戏窗口即可捕获游戏对话、音频和视觉内容。

工作原理

该应用程序充当了你的游戏与 Anki 之间的桥梁。它使用文本钩子工具或内置的 OCR (Optical Character Recognition) 直接从屏幕读取游戏文本。当你触发捕获时，它会自动录制关联的音频、截取屏幕截图或 GIF，并将数据发送到你的闪卡牌组。它还提供了一个透明覆盖层，以便使用 Yomitan 进行即时词典查询。

适用人群

它专为那些将游戏作为沉浸式学习工具，并希望通过“句子挖掘” (sentence mining) 构建词汇量，同时又不中断游戏流程的语言学习者而设计。

主要亮点

  • 自动化闪卡： 创建带有同步音频、截图或 GIF 的 Anki 卡片。
  • 内置 OCR： 使用自定义文本识别技术从不支持标准文本钩子的游戏中提取文本。
  • 游戏内覆盖层： 提供即时词典查询和假名显示，无需离开游戏。
  • 沉浸式追踪： 包含一个仪表板，用于追踪你的阅读进度、汉字历史和每日目标。

相关

  • 项目
    raine/anki-llm

    一个可编写脚本的 CLI 工具，使用 LLM 和文本转语音来批量处理、生成和改进 Anki 闪卡。

  • 项目
    dominostars/playtranslate

    一款即时翻译与语言学习 Android 应用程序，利用 OCR 技术直接在屏幕上翻译游戏、视觉小说与漫画中的文字。

  • 项目
    THUSI-Lab/GameScaling

    GameScaling 是一系列视觉语言模型，通过在 1600 小时的键盘鼠标游戏数据上进行持续预训练，使其能够实时游玩电脑游戏。每个模型接收当前屏幕画面（及简短历史记录），并输出接下来 200 毫秒的输入，包括六个 33 毫秒的按键步骤以及一次鼠标移动和滚动。该仓库提供了推理客户端、系统提示词模板、示例以及用于服务已发布检查点的测试。

  • Dispatch
    SubSmith 语言学习平台 – 概览与社区反馈

    SubSmith 让用户可以拖放任何视频或音频文件来生成字幕、悬停翻译单词并导出抽认卡到 Anki，旨在使从个人媒体进行沉浸式语言学习变得经济实惠且高效。

  • 项目
    thanhkeke97/RSTGameTranslation

    RSTGameTranslation 是一个仅限 Windows 的工具，可捕获游戏的屏幕区域，运行 OCR，将文本发送到 AI 翻译器（Google、Gemini、Ollama 等），并将翻译绘制回游戏上。它还支持语音转文本（Whisper/FunASR）和离线文本转语音（Supertonic）。用户选择窗口或矩形，配置语言和翻译器，并通过热键控制一切。该应用对于游玩未翻译游戏、阅读漫画或使用实时字幕进行流媒体播放非常有用。