ai-crawler-py：一個低程式碼的 AI 網路爬蟲，使用自然語言提示與自動化 Schema 來擷取結構化資料

它解決了什麼問題

它消除了需要使用靜態 CSS 或 XPath 選擇器來建立與維護自訂網路爬蟲的需求。使用者不必撰寫複雜的腳本去在網站上尋找特定資料，只要用簡單的英文描述需求，工具就會負責發現並擷取該資訊。

它如何運作

使用者提供起始 URL 與描述所需內容的自然語言提示。AI 代理人會智慧地探索該網域，辨識相關頁面，並擷取資料。輸出可以是 Markdown 或結構化的 JSON；對於後者，使用者可以自行提供 OpenAPI Schema，或讓 AI 從提示自動產生 Schema，以確保資料符合應用程式的需求。

適用對象

此工具設計給需要取得網站資料以進行分析或自動化流程的開發者與資料科學家，讓他們不必花時間手動開發爬蟲。

重點特色

• 自然語言控制：使用簡單的英文提示來指導爬蟲代理人並定義資料需求。
• AI 驅動的發現：自動辨識並優先處理最符合使用者提示的頁面。
• 彈性輸出：支援 Markdown 與結構化 JSON 兩種格式。
• 自動化 Schema 產生：可根據自然語言描述自動建立解析 Schema。
• 技術多樣性：同時處理靜態頁面與 JavaScript 渲染頁面，並支援可選的地理位置定位。