getmaxun/maxun

Maxun – あらゆるウェブサイトを構造化されたAPIに変換する

What it is

• オープンソースのノーコード・プラットフォームで、ウェブからデータを収集し、クリーンで構造化された出力（JSON, CSV, Markdownなど）に変換できます。
• ビジュアルUI、一連の「ロボット」（構築済みの自動化エージェント）、CLI、およびSDKをパッケージ化しており、同じワークフローをローカル、Docker、またはホスト型サービス上で実行できます。

Why it matters for AI / ML

• 現代のLLMアプリケーションには、高品質でよく構造化されたデータが必要です。Maxunは、サイトをスクレイピングしたり、ドメイン全体をクロールしたり、PDFや画像から情報を抽出したりすることができ、その後、プロンプト作成やファインチューニングに即座に利用可能な形式でデータを出力します。
• LLM‑powered extraction mode を提供しています。自然言語で欲しいフィールドを説明するだけで、システムが言語モデルを使用してそれらを特定して返します。これにより、手動でセレクターを作成する手間が軽減されます。

Key components

Component	What it does	AI‑related feature
Extract	ポイント・アンド・クリック、またはブラウジング・セッションを記録して、それを再生して構造化データを取得します。	AI Mode – セレクターを書く代わりに、LLMを使用して抽出内容を指定します。
Scrape	ページ全体をクリーンなMarkdown/HTMLとして保存し、スクリーンショットをキャプチャできます。
Crawl	スコープ・ルールに従いながらサイト全体をトラバースし、各ページからデータを抽出します。	大規模なコーパスをベクトル・ストアやトレーニング・パイプラインに供給できます。
Search	ウェブ検索を自動化し、時間ベースのフィルターを使用して結果を収集します。	RAG（検索拡張生成）のための最新データを収集するのに役立ちます。
Document Extraction	PDF, DOCX, XLSX, CSV を解析し、画像にOCRを実行します。	スキャンされた文書を、LLMへの入力用に構造化されたテキストに変換します。
SDK / CLI	プログラマティックな制御、スケジューリング、およびロボット管理。
AI integration	カスタムAIパイプラインやCI/CDへの統合を可能にします。

How you use it

1. Hosted quick‑start – https://app.maxun.dev にアクセスして、ウェブUI経由でロボットを作成します。
2. Self‑host – Docker Composeまたは通常のインストールを使用して、サービスをローカルで実行します（ドキュメントを参照）。これにより、データとコンピューティングのリソースを完全に制御できます。
3. Automation – ロボットを定期的に実行するようにスケジュールし、抽出されたデータをRESTエンドポイント経由で公開、またはGoogle Sheets/Airtableに直接プッシュします。
4. LLM integration – プラットフォームはデータを Model Context Protocol (MCP) 形式で出力できるため、LLMプロンプトや検索拡張生成パイプラインに結果を直接供給することが容易です。

Who it’s for

• Data engineers & ML teams が、スクレイパーをゼロから書くことなく、信頼性の高い方法でウェブデータを収集する必要がある場合。
• Product builders が、最新のウェブ情報が必要なAIエージェントを作成する場合。 | Researchers が、トレーニングや評価のために大規模なコーパスを収集する場合。
• Non‑technical users が、ビジュアル・レコーダーを使用して抽出フローを構築する場合。

License

• AGPL‑v3。これは、コードは自由に使用および変更できますが、ネットワーク経由でデプロイされたサービスは、そのソースコードの変更内容をシェアする必要があります。

Bottom line Maxunは、生のウェブコンテンツと、現代のAIシステムが必要とするクリーンで構造化されたデータセットの間にあるギャップを埋めるものであり、ノーコードUIと、自動化および統合のための開発者フレンドリーなツールを両立しています。