RunanywhereAI/RCLI

何を解決するか

RCLI は、クラウドAPIやインターネット接続を必要としない、完全にローカルなmacOS用音声AIアシスタントです。ユーザーは音声でコンピュータを制御し、自身のドキュメントを照会し、カメラや画面からの視覚情報を外部サーバーに送信せずに分析できます。

動作方法

音声認識（STT）、大規模言語モデル（LLM）、音声合成（TTS）の完全なAIパイプラインを実装しており、すべてApple Silicon上でネイティブに実行されます。低遅延を確保するために、M3チップ以降では独自のGPU推論エンジン「MetalRT」を使用し、M1/M2チップではllama.cppにフォールバックします。AppleScriptとシェルコマンドを介してmacOSと統合し、システム操作を実行し、PDF、DOCX、テキストファイルに対するローカルなRAG（リトリーバル・オーガナイズド・ジェネレーション）にはハイブリッドなベクトル＋BM25検索システムを使用します。

対象ユーザー

Apple Silicon（M1、M2、M3、M4）搭載のMacユーザーで、プライバシー保護、低遅延、システム制御、ドキュメントインテリジェンス、オンデバイスでのビジョン分析が可能な音声アシスタントを求める方。

特徴

• ローカル実行: クラウドやAPIキーなしで100%オンデバイス推論。
• システム制御: 生産性、通信、メディア、システム設定向けの40の組み込みmacOS操作。
• マルチモーダル機能: オンデバイスVLM（ビジョン・ランゲージモデル）で画像、ライブカメラ映像、画面領域の分析が可能。
• 高パフォーマンス: MetalRTエンジンによる200ms未満のエンドツーエンド音声遅延と高いLLMスループット。
• ドキュメントインテリジェンス: 約4msの検索遅延でインデックス化されたドキュメントに対するローカルRAG。
• インタラクティブTUI: モデル、音声、システム操作の管理に使えるターミナルベースのダッシュボード。