Roy3838/Observer
Local Micro-Agents that monitor your screen, so you don't have to.
解决的问题
Observer AI 充当个人自动化代理，监控您的电脑屏幕、摄像头和音频，并根据其观察到的内容触发特定操作。它通过允许用户设置“如果这样，就那样”风格的工作流（例如在文件下载完成、摄像头中出现人或屏幕上检测到特定徽标时发送通知），解决了手动监控的问题。
工作原理
用户通过组合三个组件来创建“微型代理”：传感器（屏幕、摄像头、麦克风、剪贴板）、模型（用于推理的本地 LLM）和工具（消息传递、电子邮件、系统命令）。代理在循环中运行，通过本地模型处理传感器数据以做出决策或提取信息。如果满足条件，代理将执行基于 JavaScript 的工具来执行操作，例如发送 WhatsApp 消息、播放声音或将数据记录到内存中。
适用人群
该项目适合希望构建私有的、本地优先的自动化代理的高级用户和开发人员，他们希望在不将敏感的屏幕或摄像头数据发送到云端的情况下与桌面环境进行交互。
亮点
- 注重隐私： 完全在本地运行，使用通过 llama.cpp、Ollama 或 Transformers.js 提供的模型。
- 多模态传感器： 支持屏幕截图、OCR、摄像头输入和音频转录。
- 丰富的工具： 包含用于消息传递（WhatsApp、Discord、Telegram、SMS）、系统通知和文件/内存管理的内置功能。
- 灵活的逻辑： 支持基于文本的 LLM 推理和用于高精度概率任务（例如检测是否有人在场）的专用“决策模型”。
相关
- 项目
- 项目
- 项目
- 项目
- 项目