elliottdehn/open-jobs

~3M live jobs from 36 ATS, enriched with LLM-extracted fields + embeddings, released CC0. Includes agent tooling to search them (hull -> learn -> rank).

解决的问题

Open Jobs 解决了传统招聘网站上"幽灵职位"和过时信息的问题,这些网站经常让已失效的职位保持活跃,以使平台看起来内容充实。我们通过直接抓取公司招聘网站,并根据职位的实际年龄和行为对每个职位进行评分,提供透明、经过验证的职位空缺数据集。

工作原理

该系统采用分布式爬虫架构,使用 65,000 个 Cloudflare Durable Objects 每天监控公司招聘网站。它记录职位首次被发现的准确日期,以防止"重新盖章"(即公司声称职位比实际更新)。

每晚的批处理过程会训练薪资、资历和工作安排的估算模型,并使用嵌入生成搜索索引。用户可以通过浏览器或 AI 代理搜索职位;系统嵌入用户的请求,在索引中找到最近的职位组,并在用户本地机器上执行排名和过滤,以确保隐私。

适用人群

  • 求职者:希望避免在过时或虚假职位上浪费时间的人。
  • AI 代理用户(例如 Claude Code、Cursor):希望自动化筛选合格职位匹配的人。
  • 数据科学家和开发者:需要高质量、嵌入式的数百万职位空缺数据集用于分析或应用开发的人。

亮点

  • 验证评分:根据爬虫数据将职位标记为 Fresh、Stale、Re-stamped 或 Ghost。
  • 代理就绪:包含 Claude Code 插件和其他 AI 代理工具,用于面试用户并筛选职位。
  • 隐私优先:搜索排名和个人数据(简历、标签)保留在本地机器上。
  • 海量数据集:提供 310 万个职位,包含 1536 维嵌入。
  • 开放数据:提供整个搜索索引和历史差异作为可下载的静态文件。

相关

  • 项目
  • 项目
  • 项目
  • 项目