getmaxun/maxun

Maxun – あらゆるWebサイトを構造化APIに変換

概要 – Maxunは、あらゆるWebサイトから構造化された情報をスクレイピング、クローリング、監視、抽出できるオープンソースのWebデータプラットフォームです。従来のWebスクレイピングとAI支援による抽出を組み合わせ、自然言語で必要なデータを記述したり、ブラウザ操作を記録して再利用可能な「ロボット」を構築したりできます。

主な機能

• 抽出 (Extract) – ページコンテンツを構造化されたレコードに変換します。2つのモードがあります：
  • レコーダー (Recorder)：ブラウザでのクリックやスクロールを記録し、それを抽出ロボットとして再生します。
  • AI：簡単な英語のプロンプト（例：「すべての製品名と価格をリストアップして」）を記述し、LLMにページを解析させます。
• スクレイピング (Scrape) – ページ全体をMarkdown、HTML、またはスクリーンショットとして保存します。
• クローリング (Crawl) – サイト全体を巡回し、すべてのページに抽出ロボットを適用します。
• 検索 (Search) – Maxun内からWebを検索し、時間で結果をフィルタリングします。
• 監視 (Monitoring) – ページの変更を監視し、アラートを受け取ります。
• ドキュメント解析 (Document parsing) – PDFやDOCXなどからテーブル、フォーム、その他の構造化データを抽出します。

利用方法

• ダッシュボード (Dashboard) – コードなしでロボットを構築・実行するためのホスト型UI (app.maxun.dev)。
• API – スクレイピングや抽出をプログラムから利用するためのRESTエンドポイント。
• SDK – Maxunを独自のアプリケーションに組み込むための言語別ライブラリ（例：Node.js SDK）。
• CLI – ロボットの作成、実行のトリガー、結果の取得を行うためのコマンドラインツール。
• MCP (Model Context Protocol) – 外部のAIエージェントがMaxunをデータソースとして呼び出せるようにするフック。

はじめ方

1. ホスト型サービスを試す – https://app.maxun.dev にサインアップして、すぐにロボットの構築を開始します。
2. ローカルで実行する – ドキュメントのDocker-Composeまたはローカルインストールガイドに従ってください。リポジトリにはセルフホストに必要なすべてのコードが含まれています。
3. SDK/CLIを使用する – Node SDK (npm i @maxun/sdk) またはCLIをインストールして、独自のコードベースからジョブをスクリプト化します。

典型的なユースケース

• Eコマースサイトからリストを抽出して製品価格APIを構築する。
• 競合他社のWebページの価格やコンテンツの変更を監視する。
• HTMLページのみを提供する公開ポータルから研究データを収集する。
• MCP統合を通じて、最新のWebコンテンツをLLM駆動のエージェントに供給する。

ライセンス – 本プロジェクトはAGPL-v3の下でリリースされており、オープンなコラボレーションを奨励しつつ、ネットワーク上でデプロイされた変更も共有することを求めています。

コミュニティとサポート – リポジトリにはスポンサー（プロキシプロバイダー）が記載されており、Discord、チュートリアル動画、ドキュメントサイトが提供されています。プルリクエストによる貢献を歓迎しており、商用ユーザーにはスポンサーシップや還元を推奨しています。