OthersideAI/self-operating-computer
A framework to enable a multimodal model to operate a computer.
解決する問題
コンピュータータスクを自動実行するには、インターフェースが変更されると壊れるスクリプトを書くことがよくあります。このフレームワークは、マルチモーダルモデルが画面を監視し、人間のようにクリック、入力、スクロールなどのアクションを実行できるようにし、カスタムコードなしで動的または不慣れなインターフェースを処理できます。
仕組み
モデルは現在の画面のスクリーンショットとテキストの目標を受け取り、一連のマウスとキーボードのアクションを出力し、フレームワークが実行します。フレームワークには複数のモデル統合（GPT-4o、GPT-4.1、o1、Gemini Pro Vision、Claude 3、Qwen-VL、LLaVa）と特別なモードが含まれます：
- OCRモード：光学文字認識を使用してテキスト要素のクリック可能なマップを作成し、精度を向上。
- Set-of-Mark（SoM）モード：単純なオブジェクト検出器を使用してボタンをマークし、視覚的接地を強化。 音声入力は--voiceフラグでもサポートされています。
対象ユーザー
コンピューター使用エージェントを試したり、異なるマルチモーダルモデルをテストしたり、この機能の初期のオープンソース例に基づいて構築したい開発者と研究者。選択したモデルのAPIキーが必要で、Mac、Windows、Linux（Xサーバー付き）で動作します。
ハイライト
- フルコンピューター使用のための最初のオープンソースフレームワークの1つ（2023年11月）。
- 複数のモデルバックエンド：GPT-4o、GPT-4.1、o1、Gemini Pro Vision、Claude 3、Qwen-VL、LLaVa（Ollama経由）。
- OCRモードはテキストを座標にマッピングし、信頼性の高いクリックを実現。
- Set-of-Markプロンプトは視覚的接地を向上。
- ハンズフリーの目標入力のための音声入力。
- 簡単なインストールと実行：pip installと
operateコマンド。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト