johnbean393/Sidekick

해결하는 문제

Sidekick은 macOS용 로컬 우선 AI 어시스턴트로, 데이터를 안전하고 오프라인으로 유지하면서 LLM과 채팅할 수 있습니다. 클라우드 AI와 관련된 개인정보 보호 문제를 해결하며, 별도의 추론 소프트웨어를 설치하지 않고도 개인 파일, 폴더, 웹사이트를 AI의 맥락으로 통합하는 방법을 제공합니다.

작동 방식

Sidekick은 내장된 llama.cpp 백엔드를 사용하여 Apple Silicon에서 GGUF 로컬 모델(예: Qwen 2.5)을 직접 실행합니다. 사용자 정의 "전문가"(파일 및 웹사이트 모음)에서 관련 정보를 가져오기 위해 검색 증강 생성(RAG)을 사용하여 직접 인용과 참조로 질문에 답변합니다. 또한 원격 모델을 사용하려는 사용자를 위해 OpenAI 호환 API도 지원합니다.

대상 사용자

문서를 조사하고, 함수 호출로 작업을 자동화하며, 로컬에서 이미지를 생성할 수 있는 개인적이고 맥락을 인식하는 AI 어시스턴트를 원하는 Mac 사용자.

주요 기능

• 로컬 우선 추론: Apple Silicon에서 빠른 생성을 위한 내장 llama.cpp. 추측 디코딩 지원 포함.
• RAG 기반 전문가: 리소스를 주제별 컬렉션으로 구성하여 AI가 페이지 번호와 인용으로 참조할 수 있음.
• 딥 리서치 에이전트: 수십 개의 웹페이지를 읽고 포괄적인 리서치 보고서를 종합할 수 있는 전용 에이전트.
• 함수 호출: 이메일 초안 작성이나 CSV에서 재무 지표 계산과 같은 로컬 작업 실행 가능.
• 캔버스: 선택적 편집 기능으로 웹사이트와 코드를 생성, 편집, 미리볼 수 있는 대화형 영역.
• 멀티모달 기능: CoreML(macOS 15.2 이상)을 통한 자동 이미지 생성, 네이티브 LaTeX 및 데이터 시각화 렌더링.
• 영구 메모리: 서로 다른 대화에서 사용자 선호도와 프로젝트 세부 정보를 기억.