Roy3838/Observer

解決する課題

Observer AI は、画面、カメラ、オーディオを含むコンピュータの環境をパッシブに監視し、観察した内容に基づいてアクションや通知を自動的にトリガーする「マイクロエージェント」をユーザーに作成させます。ログ記録、反応、アラートのプロセスを自動化することで、手動監視の必要性を排除します。

仕組み

ユーザーは 3 つのコンポーネントを組み合わせてエージェントを構築します：

1. センサー: スクリーンショット、カメラフィード、画面やカメラからの OCR（テキスト認識）、クリップボードの内容、オーディオの文字起こし（Whisper 経由）など、データをキャプチャする入力。
2. モデル: システムプロンプトに基づいてセンサーデータを処理するローカル LLM（llama.cpp、Ollama、または Transformers.js 経由）。
3. ツール: モデルの出力に基づいてエージェントが実行できる JavaScript 関数。これには、通知の送信（Email、Discord、Telegram、WhatsApp、SMS）、エージェントのメモリ管理、ビデオクリップの記録、システムとの対話（マウスクリック、ブラウザ通知）が含まれます。

対象者

ローカル推論を使用してデータのプライバシーを保ちながら、環境監視と通知のワークフローを自動化したいユーザー向けに設計されています。

ハイライト

• マルチモーダルセンシング: 包括的な観察のために、画面、カメラ、オーディオ入力をサポートします。
• ローカル推論: データプライバシーを確保するために、Ollama、llama.cpp、および Transformers.js と互換性があります。
• 広範な通知スイート: Discord、Telegram、WhatsApp、SMS、および Email 用の統合ツール。
• プログラム可能なロジック: JavaScript サンドボックスを使用して、モデルの応答に対するカスタム反応を可能にします。
• インテリジェントメモリ: エージェントはテキストおよび画像ベースのメモリを保存および取得できます。