Sentient-OS-Labs/sentient-os

An on-device LLM understands your entire life, then proactively offers to get your work done through computer use.

解決的問題

Sentient OS 解決了目前 AI 助手在隱私與上下文方面的不足。大多數 AI 工具缺乏深層的個人上下文，因為使用者無法將整個數位生活上傳到雲端，且它們通常是反應式的而非主動式的。Sentient OS 建立了一個本地、私密的個人生活知識庫，從而實現能夠理解使用者特定上下文，並能主動建議任務或透過電腦使用功能執行任務的 AI。

工作原理

該系統採用混合運算架構，其中大約 90% 的工作在裝置端完成，10% 透過使用者自己的 ChatGPT 訂閱使用前沿模型。

  1. 本地處理：每天凌晨 3 點，系統會喚醒 Mac，並使用本地模型 (Gemma 4 E4B) 讀取檔案、螢幕截圖、WhatsApp、iMessage 和 Apple Notes。它會過濾掉垃圾資訊與敏感的 PII（個人識別資訊），建立乾淨的摘要。
  2. 知識庫：這些摘要由前沿模型提煉成儲存在 Mac 本地的純 Markdown 檔案（Obsidian 風格）資料夾。
  3. 主動智能：前沿模型分析知識庫以準備「早間卡片」——即草擬的回覆或任務提醒——使用者可以一鍵執行這些內容。
  4. Sidekick：一個語音/文字介面（可透過 Mac 瀏絡或鍵盤快捷鍵存取），利用「電腦使用」功能在使用者自己的應用程式與瀏覽器中執行任務。
  5. 選用雲端鏡像：使用者可以選擇使用零存取 AES-256-GCM 加密將知識庫同步到雲端 MCP 伺服器，從而允許 Claude 或 ChatGPT 等其他 AI 存取個人上下文。

適用對象

使用 Apple Silicon (M1 或更高版本) 並執行 macOS 15+ 的 Mac 使用者，他們希望在保持嚴格數據隱私的同時，擁有高度個人化且主動的 AI 助手。

亮點

  • 隱私優先架構：原始個人數據絕不會離開 Mac；只有剝離了 PII 的摘要會被傳送到雲端。
  • 端側推理：針對 Apple Silicon 進行了優化，在記憶體僅為 8GB 的裝置上即可執行 Gemma 4 E4B 的自定義 LiteRT-LM 分支。
  • 主動工作流：它不是等待提示詞，而是根據使用者的個人上下文在夜間準備任務卡片。
  • 電腦使用：Sidekick 可以與本地應用程式與瀏覽器互動，自主完成任務。
  • 透明記憶：知識庫以可編輯的 Markdown 檔案形式儲存，而不是黑盒資料庫。