awwaiid/ghostwriter

解决的问题

Ghostwriter 使 reMarkable 平板能够充当一个交互式 AI 画布。用户可以在屏幕上手写或绘制提示，然后由 Vision-LLM 生成响应，并以打字文本或 SVG 绘图的形式直接写回设备。

工作原理

该软件在 reMarkable 设备上作为后台进程运行。当用户触发助手（默认通过点击屏幕右上角）时，系统会截取当前页面的屏幕截图，并将其发送给 Vision-LLM（如 GPT-4o、Claude 3.5 Sonnet 或 Gemini 2.0 Flash）。

模型随后使用特定工具决定如何响应：

• 文本输出：使用虚拟键盘将响应输入到 reMarkable 的文本层中。
• SVG 绘图：生成 SVG 代码，系统将其光栅化并在屏幕上以点阵形式绘制。
• 空间感知：可选的图像分割步骤可用于帮助模型理解屏幕上元素的坐标，从而更准确地放置答案。

适用人群

希望将生成式 AI 直接集成到手写工作流中的 reMarkable 2 或 reMarkable Paper Pro 平板用户和开发者。

主要亮点

• 多模型支持：兼容 OpenAI、Anthropic 和 Google Gemini 引擎，以及通过 Groq 支持的本地模型。
• 混合输出：可根据提示在绘制线稿和打字文本之间切换。
• 可自定义触发器：支持可配置的触控触发角落以激活助手。
• 空间智能：包含图像分割功能，可提升模型在特定位置（如填空）放置响应的能力。
• 高级 LLM 功能：支持 Anthropic 的“思考模式”和网络搜索功能。