HackerRank Hiring Agent: AI 이력서 스크리닝에서 비결정성 분석

HackerRank Hiring Agent: AI 이력서 스크리닝에서 비결정성 분석

AI 이력서 스크리닝은 높은 비결정성을 보임

HackerRank의 오픈소스 ATS 도구인 hiring-agent는 점수의 큰 불안정성을 보여줍니다. 동일한 이력서가 여러 번 평가될 때마다 결과가 크게 달라질 수 있습니다. 일련의 테스트에서 단일 이력서는 기본 gemma3:4b 모델을 사용했을 때 100점 만점에 66점에서 99점 사이의 점수를 받았으며, 이는 후보자가 LLM 출력의 무작위성에만 의존해 회사의 컷오프를 통과하거나 탈락할 수 있음을 의미합니다.

이 비결정성은 모델 온도를 0으로 설정해도 지속되며, 이는 단순한 설정 오류가 아니라 근본적인 설계 결함임을 나타냅니다. 보다 성능이 좋은 모델 gemini-3.1-flash-lite로 테스트했을 때는 분포가 좁아졌지만 여전히 충분한 변동성을 보여 후보자들의 상당 비율이 무작위로 탈락할 수 있었습니다.

Hiring Agent 점수 시스템 작동 방식

hiring-agent 도구는 이력서를 다단계 LLM 파이프라인을 통해 처리합니다:

  1. 파싱: PDF를 텍스트로 변환합니다.
  2. 추출: LLM을 여섯 번 호출해 기본 정보, 경력, 학력, 기술, 프로젝트, 수상 내역 등 구조화된 데이터를 추출합니다.
  3. 컨텍스트 강화: 후보자의 GitHub 프로필을 가져와 상위 레포지토리를 스캔해 추가 컨텍스트를 제공합니다.
  4. 채점: 수집된 모든 데이터를 최종 LLM 호출에 전달해 특정 점수 배분에 따라 채점합니다.

점수 루브릭

총점은 100점이며, 최대 20점의 보너스 포인트를 추가로 받을 수 있습니다:

Category Max Points
Open Source Contributions 35
Personal Projects 30
Work Experience 25
Technical Skills 10
Bonus (Startup exp, blog, etc.) 20

평가상의 주요 설계 결함

1. 체크리스트 검증 vs. 일관성 없는 판단

분석 결과 "Technical Skills" 점수는 이진 체크리스트(예: "후보자가 React를 아는가?")로 작동하기 때문에 매우 일관적입니다. 반면 "Projects"와 "Open Source" 점수는 "아키텍처 복잡성"을 보여주는지와 같은 주관적 판단을 요구하므로 점수가 크게 변동합니다. 이는 엄격하고 근거 있는 루브릭이 부족하기 때문입니다.

2. 경험에 대한 기준 부재

전문가 프로필의 핵심 요소임에도 불구하고 "Work Experience" 카테고리는 심하게 구체성이 부족합니다. 경험을 평가하는 프롬프트는 두 줄에 불과하고, 인턴십 하나만 가진 주니어 엔지니어와 10년 차 수석 엔지니어를 구분할 예시나 기준이 없습니다. 결과적으로 두 사람 모두 25/25의 완벽 점수를 받을 수 있어 후보자 품질을 구별하는 데 무용합니다.

3. 과도한 비중의 부수 활동

시스템은 기본 점수의 65%를 오픈소스 기여와 개인 프로젝트에 할당합니다. 이 비중은 공개 GitHub 레포지토리를 유지하지 않는 숙련된 프로페셔널 엔지니어에게 큰 불이익을 주며, 반대로 별이 많이 받은 프로젝트는 있지만 실제 업무 경험이 적은 후보자를 과대평가할 위험이 있습니다.

LLM 구현에 대한 기술적 비판

hiring-agent 구현을 검토한 업계 전문가와 개발자들은 여러 체계적 문제를 지적했습니다:

  • 단일 프롬프트 구조: 시스템이 모든 평가 단계를 하나의 호출에 담으려 합니다. 전문가들은 이를 서브 태스크(예: 오픈소스용 프롬프트, 경력용 프롬프트 등)로 나누어 정확성을 높일 것을 권고합니다.
  • 모호한 형용사: 프롬프트가 "significant contribution"이나 "substantial community involvement"와 같은 주관적 용어에 의존하는데, 이는 LLM이 일관되게 수치화하기 어렵습니다.
  • 비효과적인 편향 완화: 프롬프트는 LLM에게 인구통계(이름, 성별)를 무시하도록 지시하지만, 기술 비평가들은 이를 보장하려면 데이터가 LLM에 도달하기 전에 해당 정보를 제거해야 한다고 지적합니다. 입력 자체가 모델의 통계적 분포에 영향을 미치기 때문입니다.
  • 추적성 부족: 시스템은 인간이 로그를 검토하고 특정 점수가 왜 부여됐는지 이해할 메커니즘이 없어 HR 팀에게 "블랙 박스"가 됩니다.

"임의 기준에 대한 표준화된 점수를 제공하기 위해 LLM에 의존할 수 없습니다. '신뢰할 수 있음'에 가깝게 만들려면 인간 의사결정에 기반한, 철저히 테스트된 루브릭이 필요합니다... 이 레포는 무작위 숫자가 여기저기 흩어져 있는 희망적인 분위기의 수렁에 불과합니다."

채용에 미치는 영향

AI 기반 스크리닝 도구의 변동성은 후보자가 실력 때문이 아니라 LLM이 샘플링한 토큰에 따라 필터링될 수 있음을 의미합니다. 기업 입장에서는 특정 실행에서 무작위 임계값 이하가 된 고자격 후보자를 놓칠 위험이 생깁니다. 후보자 입장에서는 이력서를 인간이 읽기 쉬운 형태로 최적화할지, LLM 키워드와 링크 밀도에 맞출지 고민하게 됩니다.

SUMMARY: HackerRank의 오픈소스 hiring-agent 도구를 분석한 결과, 동일한 이력서가 여러 번 실행될 때마다 점수가 크게 달라지는 심각한 점수 일관성 문제와 설계 결함이 드러났습니다.

TITLE: HackerRank Hiring Agent: AI 이력서 스크리닝에서 비결정성 분석

Sources