elliottdehn/open-jobs
~3M live jobs from 36 ATS, enriched with LLM-extracted fields + embeddings, released CC0. Includes agent tooling to search them (hull -> learn -> rank).
해결하는 문제
Open Jobs는 채용 사이트의 "유령 공고" 및 오래된 공고 문제를 해결합니다. 많은 채용 사이트가 활발해 보이기 위해 마감된 공고를 계속 유지하기 때문에, 구직자는 어떤 공고가 실제로 열려 있는지 파악하기 어렵습니다. 이 프로젝트는 기업 채용 사이트를 직접 크롤링하고 실제 게시 기간과 행동을 기반으로 평가하여, 진정으로 활성화된 공고를 식별합니다.
작동 방식
이 시스템은 대규모 크롤러(Cloudflare Durable Objects 활용)를 사용하여 65,000개의 기업 채용 사이트를 매일 모니터링합니다. 공고가 처음 게시된 정확한 날짜를 기록하여 "재스탬핑"(기업이 실제보다 최신 공고인 것처럼 속이는 행위)을 방지합니다.
매일 밤 배치 프로세스를 통해 급여, 직급, 근무 형태에 대한 추정 모델을 학습시키고 검색 인덱스를 생성합니다. 이 인덱스는 임베딩 기술(1536차원 벡터)을 사용하여 310만 개의 공고를 유사한 그룹으로 분류합니다. 사용자가 검색하면 요청이 임베딩되고, 가장 가까운 공고 그룹이 사용자 기기로 다운로드되어 로컬에서 순위 지정 및 필터링이 이루어지므로 개인정보가 보호됩니다.
대상 사용자
오래된 공고나 가짜 공고에 시간을 낭비하고 싶지 않은 구직자, 그리고 구직 및 서류 전형 과정을 자동화하기 위해 AI 에이전트(Claude Code 또는 Cursor 등)를 활용하려는 사용자.
주요 특징
- 공고 평가: 실증 데이터를 기반으로 공고를 "최신", "오래됨", "재스탬핑", "유령"으로 분류합니다.
- 개인정보 우선 검색: 순위 지정 및 학습은 사용자 기기에서 로컬로 수행되며, 이력서와 라벨이 기기 밖으로 유출되지 않습니다.
- 에이전트 통합: AI 에이전트의 플러그인으로 설계되어 사용자와 인터뷰를 진행하고 엄선된 공고 목록을 생성할 수 있습니다.
- 대규모 데이터셋: 65,000개 사이트에서 310만 개의 공고를 크롤링했으며, 전체 텍스트와 임베딩 벡터가 포함된 다운로드 가능한 스냅샷을 제공합니다.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트