tinyfish-io/bigset-oss

解決的問題

BigSet 允許使用者使用自然語言描述，從即時網路中建立結構化資料集。它消除了手動串接搜尋 API、爬蟲框架、模式設計與排程工具來建構和維護最新資料表的繁瑣工作。

作法說明

1. 描述：使用者提供所需資料集的自然語言描述。
2. 模式推論：AI 自動判斷所需的欄位名稱、資料類型與主要索引鍵。
3. 發現：編排代理使用網路搜尋找出相關實體。
4. 填入：平行子代理研究每個實體，取得即時資料，並與來源進行驗證。
5. 輸出：產生的結構化資料在 UI 中呈現，可匯出為 CSV 或 XLSX。
6. 維護：使用者可設定更新頻率（從 30 分鐘到每週），自動保持資料最新。

適用對象

需要從公開網頁中取得經過驗證、結構化且定期更新的資料，但又不想撰寫自訂爬蟲的研究人員、潛在客戶開發專家與 AI 代理開發者。

特色亮點

• 自主研究：使用代理進行搜尋、取得與驗證資料，而非依賴靜態爬取。
• 自動模式：根據使用者提示自動推論表格結構。
• 定時更新：內建類似 cron 的功能，防止資料過期。
• CLI 支援：提供命令列介面，可程式化地建立與匯出資料集。
• 整合：基於 TinyFish APIs 實現網路搜尋與頁面取得。