시맨틱 유사성을 넘어: 에이전시와 어휘 검색의 사례

AI 기반 정보 검색(IR)의 현재 추세는 시맨틱 유사성에 크게 치우쳐 있습니다—임베딩을 사용해 쿼리와 '개념적으로' 관련된 문서를 찾는 방식입니다. 이 접근법은 동의어 문제(예: 'canine'을 검색했을 때 'dog'를 찾는)를 해결하지만, 새로운 문제들을 야기했습니다: 설명 가능성 부족, 예측할 수 없는 결과, 그리고 세밀한 제어력 상실.

최근 Beyond Semantic Similarity 논문에 대한 논의는 관점의 변화를 시사합니다. 블랙박스 임베딩 공간에만 의존하는 대신, '에이전시 검색'에 대한 관심이 커지고 있습니다—LLM이 검색어를 반복적으로 다듬고, 어휘 도구(예: grep)를 사용하며, 발견된 컨텍스트를 기반으로 코퍼스를 탐색하는 오케스트레이터 역할을 하는 방식입니다.

시맨틱 검색의 설명 가능성은 형편없다. 키워드 검색은 정확히 무엇을 찾고 있지 않은지 이해할 수 있어 훌륭하며, 이를 기반으로 지능적으로 반복할 수 있다.

이러한 제어력 부족은 현대 웹 검색 엔진에 대한 현재의 불만과도 닮아 있습니다. 웹 엔진은 종종 사용자의 의도를 해석하려고 하며, 요청된 정확한 일치를 제공하지 못합니다. 에이전시 워크플로우에서는 검색 도구에 정확한 피드백을 제공하는 능력이 에이전트가 올바른 답변에 수렴하는 데 핵심입니다.

에이전시 워크플로우에서 어휘 검색의 힘

시맨틱 검색이 "현대적"으로, 키워드 검색이 "레거시"로 여겨지는 경우가 많지만, 후자는 LLM과 결합될 때 놀라운 강력함을 유지합니다. 에이전트는 grep이나 BM25와 같은 도구를 사용해 정확히 일치하는 항목을 찾고, 그 결과 컨텍스트를 활용해 다음 쿼리를 다듬을 수 있습니다. 이 반복 루프를 통해 에이전트는 과정 중에 발견한 도메인을 기반으로 여러 검색어를 생성함으로써 동의어를 처리할 수 있습니다.

특정 분야는 이 접근법에서 더 큰 혜택을 받습니다. 예를 들어 기술 문서와 소스 코드는 매우 정밀한 용어를 사용합니다. 이러한 환경에서는 고정 문자열 검색이 시맨틱 근사보다 더 신뢰할 수 있습니다. 반대로, 의료나 법률 텍스트와 같이 동일한 개념이 수십 가지 방식으로 표현될 수 있는 경우, 포괄성을 보장하기 위해 시맨틱 첫 번째 검색이 여전히 필요할 수 있습니다.

일부 개발자는 기존 버전 관리 도구를 활용하면 에이전트 활용이 간소화된다는 것을 발견했습니다. git grep, git log, git diff를 사용함으로써 에이전트는 임베딩 기반 RAG(검색 강화 생성)에서 종종 놓치는 수준의 정밀도로 복잡한 코드베이스를 탐색할 수 있습니다.

실제적인 제약: 지연, 규모, 그리고 언어

에이전시 어휘 검색의 이론적 매력에도 불구하고, 여러 실무상의 장애물이 남아 있습니다:

1. 지연 및 예측 가능성

반복 검색은 본질적으로 단일 벡터 조회보다 느립니다. 벡터 데이터베이스가 밀리초 단위로 결과를 반환하는 반면, 코퍼스를 "돌아다니며" 여러 차례에 걸쳐 검색을 다듬는 에이전트는 예측할 수 없는 지연을 초래할 수 있습니다. 5초 이하의 응답 시간을 요구하는 기업 시스템에서는 이 접근법이 백그라운드 작업으로 제한되지 않는 한 너무 느릴 수 있습니다.

2. 규모 문제

grep을 사용한 작은 로컬 코퍼스 검색은 빠릅니다. 수백 기가바이트 규모의 기업 데이터를 검색하는 것은 전혀 다른 이야기입니다. 분산 파일 시스템이나 고도로 최적화된 인덱스가 없으면 데이터 전송 비용과 방대한 데이터셋을 스캔하는 데 소요되는 시간이 원시 어휘 검색을 비현실적으로 만들 수 있습니다.

3. 다언어 검색

시맨틱 임베딩은 종종 다언어 검색에 있어 우수합니다(예: 영어로 질의해 힌디어 문서를 찾는 경우). 어휘 검색은 정확한 문자 일치에 의존하기 때문에 번역 계층을 추가하지 않으면 이러한 상황에서 완전히 실패합니다.

새로운 패턴: 하이브리드 검색 및 맵-리듀스

이러한 트레이드오프를 균형 잡기 위해 업계는 하이브리드 모델로 수렴하고 있습니다. 가장 견고한 프로덕션 시스템은 일반적으로 다단계 파이프라인을 사용합니다:

초기 검색: BM25(어휘)와 임베딩 기반(시맨틱) 검색을 결합해 넓지만 관련성 있는 범위를 잡습니다.
재정렬: 보다 비용이 많이 드는 "LLM-as-judge" 또는 교차 인코더를 사용해 상위 결과를 정밀하게 다듬습니다.
에이전시 정제: 초기 결과가 충분하지 않을 경우 에이전트가 인덱스를 반복적으로 질의하도록 허용합니다.

IR을 위해 맵-리듀스 패턴을 부활시키려는 관심도 있습니다. 코퍼스의 샤드를 서로 다른 에이전트에 매핑하고 그 결과를 축소함으로써, 시스템은 높은 지역화와 커버리지를 달성하고 원하는 정보가 발견될 때까지 코퍼스를 반복적으로 탐색할 수 있습니다.

결론

"시맨틱 유사성을 넘어"라는 움직임은 임베딩을 포기한다는 것이 아니라, 그것이 다수의 도구 중 하나에 불과함을 인식하는 것입니다. 특히 기술 분야와 같은 고정밀 작업에서는, 지능형 에이전트가 조율할 때 어휘 검색의 투명성과 제어력이 시맨틱 유사성의 "블랙 박스"보다 종종 더 뛰어납니다.