yanyiwu/simhash

해결하는 문제

이 프로젝트는 중국어 텍스트의 Simhash 값을 계산하는 도구를 제공합니다. Simhash는 텍스트 중복 제거에 널리 사용되는 알고리즘으로, 생성된 "지문"을 비교하여 유사하거나 중복된 문서를 식별할 수 있게 해줍니다.

작동 원리

이 라이브러리는 CppJieba를 사용하여 중국어 텍스트를 형태소 분석하고 키워드를 추출합니다. 그런 다음 이러한 키워드에 Jenkins 해시 함수를 적용하여 64비트 Simhash 값을 생성합니다. 두 Simhash 값 사이의 해밍 거리를 비교함으로써, 설정 가능한 임계값을 기준으로 문서가 유사한지 판단할 수 있습니다.

대상 사용자

중국어 텍스트 처리를 수행하며, 중복되거나 유사한 콘텐츠를 식별하기 위한 가볍고 헤더 전용(header-only)인 C++ 솔루션이 필요한 개발자를 위해 설계되었습니다.

주요 특징

• 헤더 전용 (.hpp) 설계로 복잡한 링크 과정 없이 쉽게 통합 가능.
• CppJieba를 사용한 내장 키워드 추출 기능.
• 텍스트 길이에 따른 자동 topN 키워드 선택으로 최적의 성능 제공.
• 처리 속도를 측정하기 위한 벤치마킹 도구 포함.