Roy3838/Observer
Local Micro-Agents that monitor your screen, so you don't have to.
解決する課題
Observer AIは、PCの画面、カメラ、音声を監視し、観測内容に基づいて特定のアクションをトリガーするパーソナル自動化エージェントとして機能します。ファイルダウンロードの完了、カメラへの人物の映り込み、画面上の特定のロゴ検出など、「もしこれが発生したら、あれを実行する」というワークフローを設定することで、手動監視の手間を解消します。
仕組み
ユーザーは、センサー（画面、カメラ、マイク、クリップボード）、モデル（推論用のローカルLLM）、ツール（メッセージング、メール、システムコマンド）の3つのコンポーネントを組み合わせて「マイクロエージェント」を作成します。エージェントはループ内で動作し、センサーデータをローカルモデルで処理して意思決定や情報抽出を行います。条件が満たされると、エージェントはJavaScriptベースのツールを実行し、WhatsAppメッセージの送信、サウンドの再生、メモリへのデータ記録などのアクションを実行します。
対象ユーザー
このプロジェクトは、機密性の高い画面やカメラのデータをクラウドに送信することなく、デスクトップ環境と対話するプライベートなローカルファーストの自動化エージェントを構築したいパワーユーザーや開発者を対象としています。
ハイライト
- プライバシー重視： llama.cpp、Ollama、またはTransformers.jsを介したモデルを使用し、完全にローカルで実行されます。
- マルチモーダルセンサー： 画面キャプチャ、OCR、カメラ入力、音声文字起こしをサポートしています。
- 豊富なツール群： メッセージング（WhatsApp、Discord、Telegram、SMS）、システム通知、ファイル/メモリ管理のための組み込み関数が含まれています。
- 柔軟なロジック： テキストベースのLLM推論と、高精度な確率ベースのタスク（人物の存在検知など）のための専用「意思決定モデル」の両方をサポートしています。
関連
- プロジェクト
AtomicBot-ai/Atomic-ChatAtomic Chatは、オープンウェイトモデルをプライベートに実行できるローカルAIアプリケーション兼推論エンジンであり、お気に入りの開発ツールやエージェント向けにOpenAI互換のAPIを提供します。
- プロジェクト
lycorp-jp/sim-useAIエージェントがトークン効率の良いUIアウトラインと簡略化された操作コマンドを通じて、iOSおよびAndroidの画面を観察・操作できるようにするクロスプラットフォームCLI。
- プロジェクト
Core-Mate/OpenGUIOpenGUIは、AIエージェントがスクリーンショットを解釈し、UI操作を発行することで実際のAndroidスマートフォンを制御できるようにするフレームワークです。WorkBuddyおよびDeepSeek Harnessプラグインによる簡単なチャットベースの利用、高度なタスク計画のための完全なオプションバックエンド、タップ、スワイプ、入力などを実行する小型のAndroidクライアントを提供します。モバイルデバイスでのAI駆動テスト、自動化、コンテンツ作成に最適です。
- プロジェクト
open-webui/open-webuiOpen WebUI は、AI モデルと対話するためのユーザーフレンドリーなインターフェースを提供するセルフホスト型 AI プラットフォームです。Ollama を介したローカルモデルと、OpenAI 互換の任意の API をサポートします。プラグイン、ロールベースのアクセス制御、永続メモリ、RAG などの機能を提供し、完全にオフラインで実行できます。
- プロジェクト
clawdotnet/openclaw.netOpenClaw.NETは、.NETネイティブで自己ホスト型のAIエージェントランタイムであり、デスクトップAvalonia UI（AgentQi Companion）を備えています。OpenAI互換モデルと通信するゲートウェイを実行し、ストリーミング、ツール実行、セッションメモリ、および多数の統合（REST、WebSocket、MCP、80以上のツール、チャネルアダプター）を提供します。ゲートウェイはNativeAOTでコンパイル可能で、エッジやオンプレミス環境に適しています。ユーザーはデスクトップバンドルまたはソースから開始し、チャットコマンドでアシスタントを設定し、.NETプラグインや再利用可能なMetaSkill DAGワークフローで機能を拡張できます。