yanyiwu/simhash

解決する課題

このプロジェクトは、中国語テキストのSimhash値を計算するためのツールを提供します。Simhashはテキストの重複排除に広く使用されているアルゴリズムで、生成された「フィンガープリント」を比較することで、類似または重複するドキュメントを特定できます。

仕組み

このライブラリは、CppJieba を使用した形態素解析とキーワード抽出によって中国語テキストを処理します。次に、これらのキーワードに Jenkins ハッシュ関数を適用して 64 ビットの Simhash 値を生成します。2つの Simhash 値間のハミング距離を比較することで、設定可能な閾値に基づいてドキュメントが類似しているかどうかを判断できます。

対象ユーザー

中国語テキスト処理を行う開発者向けに設計されており、重複または類似コンテンツを特定するための軽量でヘッダーのみの C++ ソリューションを必要とする方に最適です。

特徴

• ヘッダーのみ (.hpp) の設計により、複雑なリンク設定なしで簡単に統合可能。
• CppJieba を使用した組み込みのキーワード抽出機能。
• テキストの長さに応じた自動的な topN キーワード選択により、最適なパフォーマンスを実現。
• 処理速度を測定するためのベンチマークツールを同梱。