Rvosy/Sakura

一个通用桌宠 Agent 框架，能导入自定义角色包，并让角色感知屏幕内容与系统事件，根据用户当前场景主动做出自然反应。

Sakura Desktop Pet – 무엇인가요

Sakura는 오픈소스 데스크톱 펫 프레임워크로, 캐릭터("펫")을 AI 기반 에이전트로 전환합니다. 화면을 감시하고 시스템 이벤트에 반응하며, 스스로 대화를 시작할 수 있습니다. 펫의 성격, 목소리, 외모는 캐릭터 팩 (.char 파일)에서 나옵니다. 이 팩에는 포트레이트, "롤 카드", 그리고 선택적인 GPT-SoVITS 음성 가중치가 포함되어 있습니다.

핵심 아이디어

기존 챗봇은 사용자가 입력을 기다립니다. Sakura는 그 반대입니다: 에이전트는 시각적 맥락(스크린샷)과 과거 상호작용의 기억을 사용해 언제 말할지 스스로 결정합니다. 마치 당신이 외로울 때, 할 일을 기억시켜주거나, 정보를 찾아주거나, 단지 대화를 나누고 싶을 때 함께 있는 작은 동반자처럼 느껴집니다.

주요 기능 (README에 기술된 내용)

카테고리	주요 기능
캐릭터 및 외형	• `.char` 팩(포트레이트, 롤 카드, 음성)을 한 번의 클릭으로 가져오기. • 내장된 "캐릭터 스튜디오"(Tauri 창)로 팩 생성/편집/내보내기 가능. • UI는 고정 색상, 블러, 아크릴, macOS 네이티브 글래스를 지원하며, 버블 크기와 위치는 사용자 정의 가능.
활동적 인식	• 주기적인 화면 캡처 → 시각적 요약이 LLM 컨텍스트에 추가. • 입력 바에서 원하는 영역 캡처(다중 모니터, 고DPI 지원). • 주기적인 "말할 필요가 있는가?" 평가 기반 자발적 발화.
대화 경험	• 이중 언어 응답: 일본어 원문 + 중국어 자막, 톤 태그 및 그림 명령어 지원. • 전체 LLM 응답 생성 중에도 로컬에서 "프리리플라이"를 빠르게 표시(옵션: 로컬 모델 부스팅 및 TTS). • 타이핑 효과와 스크롤 가능한 버블로 펫의 레이아웃 안정 유지. • 블러와 상태 표시기 포함된 세련된 입력 상자.
도구 및 기억 기능	• 내장 도구: 스크린샷, URL 열기, 할 일/리마인더 생성, 메모 읽기/쓰기. • 계층적 장기 기억: 성격 정보, 경험, 작업, 습관을 저장 가능; 자동 정리 또는 수동 편집 가능. • 도구 호출은 메인 앱과 동일한 권한으로 검증 및 실행; 신뢰할 수 없는 플러그인은 권장하지 않음. • 여러 API 제공자 프로필(채팅, 비전, 기억 정리용으로 다른 키/모델).
음성 (TTS)	• GPT-SoVITS용 어댑터; 사용자가 서비스, 모델 파일, 음성 가중치를 제공. • 자체 호스팅된 GPT-SoVITS 인스턴스를 지원해 macOS/AMD 하드웨어에서도 사용 가능.
플러그인 및 확장	• MCP 서버 인터페이스 – 어떤 MCP 호환 서버도 연결 가능(내장 웹 검색 MCP). • 5개의 기본 로컬 플러그인; 선택적 Playwright 기반 브라우저 자동화 플러그인(별도 설치 가능). • 모바일 웹 클라이언트 플러그인 – 스마트폰에서 텍스트/이미지를 전송하고 동일한 캐릭터, 기록, 기억을 공유 가능.
디버그 및 기록	• GUI 로그 뷰어로 에이전트의 결정 과정과 도구 호출을 확인. • 검색 가능한 채팅 기록. • Windows 및 서명된 macOS 빌드용 자동 업데이트(Tauri Updater).

시작 방법

릴리스 다운로드 – README는 소스 ZIP 사용을 경고합니다. Releases 페이지에서 플랫폼별 설치 프로그램 또는 포터블 ZIP을 다운로드하세요.
설치 프로그램 실행 (Windows) 또는 ZIP 해제 후 sakura.exe 실행 (포터블). macOS 및 Linux 사용자는 docs/userdocs/SETUP.md에 있는 상세 설정 가이드를 따르세요.
초기 설정 마법사 – .char 팩을 선택하거나 가져오고, LLM API 정보(기본 URL, 키, 모델 이름)를 입력하세요. 이후 실행 시 기존 설정이 재사용됩니다.
상호작용 – 펫이 화면 모서리에 나타나서 듣기 시작하고, 스스로 말할 수도 있습니다. 수동으로 텍스트 입력이나 스크린샷 전송도 가능합니다.

누가 사용할까?

LLM 기반 에이전트의 재미있는 시각적 프론트엔드를 원하는 개발자 또는 취미가.
정보를 자동으로 가져오고, 리마인더를 설정하거나, 화면 위에 캡션을 생성할 수 있는 캐릭터를 찾는 콘텐츠 크리에이터.
데스크톱 동반자를 즐기며, 화면을 "보는" AI 기반 에이전트를 실험하고 싶은 모든 사람.

라이선스 및 커뮤니티

코드는 MIT 라이선스 하에 배포되어 있으며, 자유로운 사용, 수정, 재배포가 가능합니다. 프로젝트는 Shinsekai 데스크톱 펫 생태계에서 영감을 받았으며, 다른 MIT 라이선스 레포지토리에서 파생된 선택적 Playwright 브라우저 플러그인을 포함하고 있습니다.

위의 모든 정보는 리포지토리의 README에서 직접 인용되었으며, 추가 기능은 추측되지 않았습니다.