RunanywhereAI/RCLI

해결하는 문제

RCLI는 클라우드 API나 인터넷 연결 없이도 완전히 로컬에서 작동하는 macOS용 음성 AI 어시스턴트입니다. 사용자는 데이터를 외부 서버에 전송하지 않고도 음성으로 컴퓨터를 제어하고, 자신의 문서를 질의하며, 카메라나 화면에서 오는 시각 정보를 분석할 수 있습니다.

작동 방식

음성 인식(STT), 대규모 언어 모델(LLM), 음성 합성(TTS)을 포함한 완전한 AI 파이프라인을 구현하며, 모든 작업은 Apple Silicon에서 네이티브로 실행됩니다. 낮은 지연 시간을 보장하기 위해 M3 칩 이상에서는 자체 GPU 추론 엔진인 MetalRT를 사용하고, M1/M2 칩에서는 llama.cpp로 백업합니다. AppleScript과 쉘 명령어를 통해 macOS와 통합되어 시스템 작업을 실행하며, PDF, DOCX, 텍스트 파일에 대한 로컬 RAG(Retrieval-Augmented Generation)에는 하이브리드 벡터 + BM25 검색 시스템을 사용합니다.

대상 사용자

Apple Silicon(M1, M2, M3, M4)을 탑재한 Mac 사용자 중에서 개인 정보 보호, 낮은 지연 시간, 시스템 제어, 문서 인텔리전스, 온디바이스 비전 분석이 가능한 음성 어시스턴트를 원하는 사용자.

주요 특징

• 로컬 실행: 클라우드나 API 키 없이 100% 온디바이스 추론.
• 시스템 제어: 생산성, 통신, 미디어, 시스템 설정용 40개의 내장 macOS 작업.
• 다중 모달 기능: 이미지, 실시간 카메라 스트림, 화면 영역 분석이 가능한 온디바이스 VLM(Vision-Language Model).
• 고성능: MetalRT 엔진을 통해 200ms 미만의 엔드투엔드 음성 지연과 높은 LLM 처리량.
• 문서 인텔리전스: 약 4ms의 검색 지연으로 인덱싱된 문서에 대한 로컬 RAG.
• 인터랙티브 TUI: 모델, 음성, 시스템 작업을 관리할 수 있는 터미널 기반 대시보드.