awwaiid/ghostwriter

해결하는 문제

Ghostwriter는 reMarkable 태블릿을 상호작용 가능한 AI 캔버스로 사용할 수 있게 해줍니다. 사용자는 화면에 손으로 프롬프트를 작성하고, 비전-LLM이 응답을 타이핑된 텍스트 또는 SVG 도형으로 다시 기기로 작성해 줍니다.

작동 방식

이 소프트웨어는 reMarkable 장치에서 백그라운드 프로세스로 실행됩니다. 사용자가 기본적으로 화면 오른쪽 상단을 탭하여 어시스턴트를 트리거하면, 시스템은 현재 페이지의 스크린샷을 캡처하여 비전-LLM(GPT-4o, Claude 3.5 Sonnet, Gemini 2.0 Flash 등)에 전송합니다.

모델은 특정 도구를 사용하여 응답을 결정합니다:

• 텍스트 출력: 가상 키보드를 사용하여 reMarkable의 텍스트 레이어에 응답을 타이핑합니다.
• SVG 도형 생성: 시스템이 래스터화하여 화면에 점으로 그려내는 SVG 코드를 생성합니다.
• 공간 인식: 선택적 이미지 세그멘테이션 단계를 통해 모델이 화면 요소의 좌표를 이해하고, 응답을 더 정확하게 배치할 수 있도록 도와줍니다.

대상 사용자

reMarkable 2 또는 reMarkable Paper Pro 태블릿을 사용하며, 생성형 AI를 직접 손글씨 워크플로우에 통합하고자 하는 열정가 및 개발자들입니다.

주요 기능

• 다중 모델 지원: OpenAI, Anthropic, Google Gemini 엔진은 물론 Groq를 통한 로컬 모델도 지원합니다.
• 하이브리드 출력: 프롬프트에 따라 선 예술 도형과 텍스트 입력을 전환할 수 있습니다.
• 사용자 정의 트리거: 활성화를 위한 터치 트리거 모서리를 사용자 정의할 수 있습니다.
• 공간 지능: 이미지 세그멘테이션 기능을 포함하여 모델이 특정 위치(예: 박스 채우기)에 응답을 정확히 배치할 수 있도록 합니다.
• 고급 LLM 기능: Anthropic의 "사고 모드" 및 웹 검색 기능을 지원합니다.