awwaiid/ghostwriter

解決的問題

Ghostwriter 讓 reMarkable 平板能扮演互動式 AI 畫布的角色。使用者可在螢幕上手寫或繪製提示，並由 Vision-LLM 產生回應，以打字文字或 SVG 繪圖的形式直接寫回裝置。

工作原理

此軟體在 reMarkable 裝置上以背景程序運行。當使用者觸發助理（預設為點擊螢幕右上角）時，系統會截取目前頁面的螢幕截圖，並傳送給 Vision-LLM（例如 GPT-4o、Claude 3.5 Sonnet 或 Gemini 2.0 Flash）。

模型隨後使用特定工具決定如何回應：

• 文字輸出：使用虛擬鍵盤將回應輸入到 reMarkable 的文字層中。
• SVG 繪圖：產生 SVG 程式碼，系統將其光柵化並在螢幕上以點陣形式繪製。
• 空間感知：可選的影像分割步驟可用來幫助模型理解螢幕上元素的座標，從而更精確地放置答案。

適用對象

希望將生成式 AI 直接整合到手寫工作流程中的 reMarkable 2 或 reMarkable Paper Pro 平板使用者與開發者。

主要特色

• 多模型支援：相容 OpenAI、Anthropic 和 Google Gemini 引擎，以及透過 Groq 支援的本地模型。
• 混合輸出：可根據提示在繪製線稿與打字文字之間切換。
• 可自訂觸發器：支援可設定的觸控觸發角落以啟動。
• 空間智慧：包含影像分割功能，可提升模型在特定位置（例如填空）放置回應的能力。
• 進階 LLM 功能：支援 Anthropic 的「思考模式」與網路搜尋功能。