Roy3838/Observer

解決的問題

Observer AI 允許使用者建立「微型代理」，被動監控電腦環境——包括螢幕、相機和音訊——並根據觀察到的內容自動觸發動作或通知。它透過自動化記錄、反應和警示的流程，消除了手動監控的需求。

運作方式

使用者透過結合三個元件來建構代理：

1. 感測器：擷取資料的輸入，例如螢幕截圖、相機影像、來自螢幕或相機的 OCR（文字辨識）、剪貼簿內容和音訊轉錄（透過 Whisper）。
2. 模型：本地 LLM（透過 llama.cpp、Ollama 或 Transformers.js），根據系統提示詞處理感測器資料。
3. 工具：代理可以根據模型輸出執行的 JavaScript 函式。這些包括傳送通知（Email、Discord、Telegram、WhatsApp、SMS）、管理代理記憶、錄製視訊片段，以及與系統互動（滑鼠點擊、瀏覽器通知）。

適用對象

專為想要自動化環境監控和通知工作流程，同時透過使用本地推論來保持資料隱私的使用者所設計。

亮點

• 多模態感測：支援螢幕、相機和音訊輸入，以進行全面觀察。
• 本地推論：與 Ollama、llama.cpp 和 Transformers.js 相容，確保資料隱私。
• 廣泛的通知套件：整合 Discord、Telegram、WhatsApp、SMS 和 Email 的工具。
• 可程式化邏輯：使用 JavaScript 沙盒允許對模型回應進行自訂反應。
• 智慧記憶：代理可以儲存和擷取文字和基於影像的記憶。