yanyiwu/simhash

解决的问题

该项目提供了一个计算中文文本Simhash值的工具。Simhash是一种广泛用于文本去重的算法，通过比较生成的“指纹”来识别相似或重复的文档。

工作原理

该库使用 CppJieba 进行分词和关键词提取来处理中文文本。然后，它将 Jenkins 哈希函数应用于这些关键词，以生成 64 位的 Simhash 值。通过比较两个 Simhash 值之间的海明距离，您可以根据可配置的阈值确定文档是否相似。

适用人群

它专为处理中文文本的开发人员设计，他们需要一个轻量级的、仅包含头文件的 C++ 解决方案来识别重复或近乎重复的内容。

特点

• 仅包含头文件 (.hpp) 的设计，无需复杂的链接即可轻松集成。
• 使用 CppJieba 内置关键词提取。
• 基于文本长度自动选择 topN 关键词，以实现最佳性能。
• 包含用于测量处理速度的基准测试工具。