elliottdehn/open-jobs
~3M live jobs from 36 ATS, enriched with LLM-extracted fields + embeddings, released CC0. Includes agent tooling to search them (hull -> learn -> rank).
解決的問題
Open Jobs 解決了傳統招聘網站上「幽靈職位」和過時資訊的問題,這些網站經常讓已失效的職位保持活躍,以使平台看起來內容充實。我們透過直接抓取公司招聘網站,並根據職位的實際年齡和行為對每個職位進行評分,提供透明、經過驗證的職位空缺資料集。
運作原理
該系統採用分散式爬蟲架構,使用 65,000 個 Cloudflare Durable Objects 每天監控公司招聘網站。它記錄職位首次被發現的準確日期,以防止「重新蓋章」(即公司聲稱職位比實際更新)。
每晚的批次處理過程會訓練薪資、資歷和工作安排的估算模型,並使用嵌入生成搜尋索引。使用者可以透過瀏覽器或 AI 代理搜尋職位;系統嵌入使用者的請求,在索引中找到最近的職位群組,並在使用者本地機器上執行排名和過濾,以確保隱私。
適用對象
- 求職者:希望避免在過時或虛假職位上浪費時間的人。
- AI 代理使用者(例如 Claude Code、Cursor):希望自動化篩選合格職位匹配的人。
- 資料科學家和開發者:需要高品質、嵌入式的數百萬職位空缺資料集用於分析或應用程式開發的人。
亮點
- 驗證評分:根據爬蟲資料將職位標記為 Fresh、Stale、Re-stamped 或 Ghost。
- 代理就緒:包含 Claude Code 外掛程式和其他 AI 代理工具,用於面試使用者並篩選職位。
- 隱私優先:搜尋排名和個人資料(履歷、標籤)保留在本地機器上。
- 海量資料集:提供 310 萬個職位,包含 1536 維嵌入。
- 開放資料:提供整個搜尋索引和歷史差異作為可下載的靜態檔案。
相關
- 專案
- 專案
- 專案
- 專案