awwaiid/ghostwriter

何を解決するか

Ghostwriter は reMarkable タブレットをインタラクティブな AI キャンバスとして機能させる。ユーザーは画面に手書きでプロンプトを入力し、Vision-LLM がその応答をタイプライティングされたテキストまたは SVG 図形として、デバイスに直接書き戻すことができる。

動作方法

このソフトウェアは reMarkable デバイス上でバックグラウンドプロセスとして実行される。ユーザーがアシスタントを起動する（デフォルトでは画面の右上隅をタップ）と、システムは現在のページのスクリーンショットを取得し、Vision-LLM（GPT-4o、Claude 3.5 Sonnet、Gemini 2.0 Flash など）に送信する。

モデルは特定のツールを使用して応答を決定する：

• テキスト出力：仮想キーボードを使って reMarkable のテキストレイヤーに応答をタイプする。
• SVG描画：システムがラスタライズして画面上にドットとして描画する SVG コードを生成する。
• 空間認識：オプションの画像セグメンテーションステップにより、画面内の要素の座標をモデルが理解し、応答をより正確に配置できるようにする。

対象ユーザー

reMarkable 2 または reMarkable Paper Pro タブレットを使用し、生成AIを手書きワークフローに直接統合したいエンジニアや開発者。

特徴

• マルチモデル対応：OpenAI、Anthropic、Google Gemini エンジンに加え、Groq を通じたローカルモデルも対応。
• ハイブリッド出力：プロンプトに応じて線画の描画とテキスト入力の切り替えが可能。
• カスタマイズ可能なトリガー：アクティベーション用のタッチトリガー角をカスタマイズ可能。
• 空間知能：画像セグメンテーション機能を備え、応答を特定の場所（例：ボックスの埋め込み）に正確に配置する能力を向上。
• 高度な LLM 機能：Anthropic の「思考モード」およびウェブ検索機能をサポート。