Skyvern-AI/skyvern

Skyvern – AI駆動のブラウザ自動化

何であるか – Skyvern は、大規模言語モデル（LLM）とコンピュータビジョンを使用して、手書きのセレクタではなく任意のウェブサイトを自動化できるオープンソースプラットフォームです。Playwrightブラウザ自動化ライブラリを基盤としており、自然言語プロンプト（例：「緑色の送信ボタンをクリック」）を受け入れる軽量SDKを追加し、要素の検出、データ抽出、ページ状態の検証、マルチステップワークフローの実行を可能にします。

動作方法 – Skyvern は スウォーム のエージェントを実行します：

1. 認識 – 視覚対応LLMがレンダリングされたページを確認し、視覚的要素を操作にマッピングします。
2. 計画 – エージェントはユーザーの高レベルなプロンプトを満たすために必要なステップを決定します。
3. 実行 – 選択された操作がPlaywrightに送信され、ブラウザが制御されます。

エージェントが静的CSS/XPathセレクタではなく視覚的ヒントに依存するため、レイアウトの変更に強く、これまで見たことのないサイトでも動作可能です。

主な機能

• AI強化Playwrightコマンド – 任意のPlaywright操作（click、fill、select_option、upload_file）は、prompt引数を受け取り、LLMが説明に基づいて要素を検出できます。
• 高レベルページAPI – page.act、page.extract、page.validate、page.prompt は自然言語操作を直接公開します。
• ワークフロー構築ツール – コード不要のUIで、ブラウザ操作、データ抽出、ループ、メール、HTTP呼び出し、カスタムコードなどをチェーンして再利用可能なワークフローを作成できます。
• ライブストリーミング – ブラウザビューポートをリアルタイムで監視でき、デバッグや手動介入に役立ちます。
• 認証サポート – 内蔵のログインヘルパー、2FA（TOTP、メール、SMS）、パスワードマネージャー（Bitwarden、カスタムサービス）との統合。
• モデルコンテキストプロトコル（MCP） – MCPを実装した任意のLLMを接続可能で、プロバイダの選択に柔軟性があります。
• クラウド＆セルフホストオプション – マネージドSkyvern Cloudサービスまたは完全ローカルスタック（Pythonパッケージ＋オプションのDocker-Compose＋Postgres）。
• パフォーマンス – WebBenchベンチマークで最先端の結果（約64％の正確性）を達成し、フォーム入力やファイルダウンロードなどの「WRITE」タスクでトップスコアを記録。

導入方法

1. Pythonインストール – pip install "skyvern[all]"（APIのみなら skyvern）。
2. クイックスタート – skyvern quickstart を実行（デフォルトでSQLite DB）または skyvern quickstart --docker-compose でコンテナ化スタックを起動。
3. SDKの使用 – ブラウザを起動後、AI強化メソッドを呼び出します：

   await page.click(prompt="Click the login button")
   data = await page.extract("Get product name and price")
   await page.agent.run_task("Complete checkout for John Snow")
   

4. コード不要UI – http://localhost:8080 を開いてワークフローを視覚的に構築・実行できます。

一般的な利用例

• UIの変更で従来スクリプトが壊れる内部ツール向けのロボティックプロセスオートメーション（RPA）。
• 安定したAPIを持たないサイトからのデータスクレイピング／抽出。
• UIリデザインに耐える自動テスト。
• 既にログイン済みのブラウザを制御できる個人アシスタント（Chromeリモートデバッグまたはトンネリング経由）。

詳細情報の入手先 – 完全なドキュメントは https://www.skyvern.com/docs、WebVoyager評価に関する技術レポート、Discordでのコミュニティチャットをご覧ください。

---

上記のすべての情報はリポジトリのREADMEから直接取得しており、追加の機能は推測されていません。