elliottdehn/open-jobs
~3M live jobs from 36 ATS, enriched with LLM-extracted fields + embeddings, released CC0. Includes agent tooling to search them (hull -> learn -> rank).
解決する課題
Open Jobs は、求人サイトにおける「ゴースト求人」や古い掲載情報の問題を解決します。多くの求人サイトは、活発に見せるために期限切れの求人を掲載し続けるため、求職者はどの求人が実際に募集されているのか判断するのが困難です。本プロジェクトは、企業の採用サイトを直接クロールし、実際の掲載期間や挙動に基づいて評価することで、真にアクティブな求人を識別します。
仕組み
このシステムは、大規模なクローラー(Cloudflare Durable Objects を利用)を使用して、65,000 社の採用サイトを毎日監視します。求人が最初に掲載された正確な日付を記録することで、「再スタンプ」(企業が実際よりも新しい求人であるかのように偽装すること)を防ぎます。
毎晩のバッチ処理で給与、職位、勤務形態の推定モデルを学習させ、検索インデックスを作成します。このインデックスは、埋め込み技術(1536次元ベクトル)を使用して 310 万件の求人を類似のグループに分類します。ユーザーが検索を行うと、リクエストが埋め込まれ、最も近い求人グループがユーザーの端末にダウンロードされてローカルでランキングとフィルタリングが行われるため、プライバシーが保護されます。
対象ユーザー
古い求人や偽の求人に時間を浪費したくない求職者、および求職活動や選考プロセスを自動化するために AI エージェント(Claude Code や Cursor など)を活用したいユーザー。
ハイライト
- 求人評価: 実証データに基づき、求人を「新鮮」「古い」「再スタンプ」「ゴースト」に分類します。
- プライバシー重視の検索: ランキングや学習はユーザーの端末上でローカルに行われ、履歴書やラベルがデバイスから外部へ送信されることはありません。
- エージェント統合: AI エージェントのプラグインとして設計されており、ユーザーにインタビューを行い、厳選された求人リストを生成できます。
- 大規模データセット: 65,000 サイトから 310 万件の求人をクロールし、全文と埋め込みベクトルを含むダウンロード可能なスナップショットを提供します。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト