Roy3838/Observer

解决的问题

Observer AI 允许用户创建“微型代理”，被动监控计算机环境——包括屏幕、摄像头和音频——并根据观察到的内容自动触发操作或通知。它通过自动化记录、响应和警报的流程，消除了手动监控的需求。

工作原理

用户通过组合三个组件来构建代理：

1. 传感器：捕获数据的输入，例如屏幕截图、摄像头画面、来自屏幕或摄像头的 OCR（文本识别）、剪贴板内容和音频转录（通过 Whisper）。
2. 模型：本地 LLM（通过 llama.cpp、Ollama 或 Transformers.js），根据系统提示词处理传感器数据。
3. 工具：代理可以根据模型输出执行的 JavaScript 函数。这些包括发送通知（Email、Discord、Telegram、WhatsApp、SMS）、管理代理记忆、录制视频片段，以及与系统交互（鼠标点击、浏览器通知）。

适用人群

专为希望自动化环境监控和通知工作流程，同时通过使用本地推理来保持数据隐私的用户而设计。

亮点

• 多模态感知：支持屏幕、摄像头和音频输入，以进行全面观察。
• 本地推理：兼容 Ollama、llama.cpp 和 Transformers.js，确保数据隐私。
• 全面的通知套件：集成了 Discord、Telegram、WhatsApp、SMS 和 Email 的工具。
• 可编程逻辑：使用 JavaScript 沙盒允许对模型响应进行自定义反应。
• 智能记忆：代理可以存储和检索基于文本和图像的记忆。