messense/jieba-rs

The Jieba Chinese Word Segmentation Implemented in Rust

解決する課題

Jieba中国語分詞アルゴリズムの高性能なRust実装を提供し、開発者が中国語テキストを個々の単語に分割して、後続の自然言語処理タスクに利用できるようにします。

このプロジェクトは、より高いパフォーマンスを実現するためにJiebaの分詞ロジックをRustで実装しています。基本的な分詞をサポートし、TF-IDFおよびTextRankアルゴリズムを使用したキーワード抽出のオプション機能も提供します。

Rustで効率的な中国語テキスト処理や分詞が必要な開発者、または利用可能なバインディング（Node.js、Python、PHPなど）を通じて他の言語で使用したい開発者。

プロジェクト
yanyiwu/nodejieba
Jieba中国語分かち書きツールの高性能なNode.js実装。効率的なテキスト分割、品詞タグ付け、キーワード抽出を提供します。
プロジェクト
yanyiwu/gojieba
Go 言語向けの高性能な Jieba 中国語単語分割ツール実装。複数の分割モードと品詞タグ付けを提供。
プロジェクト
go-ego/gse
中国語、日本語、英語など、複数言語に対応した高速なGoライブラリで、テキストの単語分割と自然言語処理を実現します。
プロジェクト
benbrandt/text-splitter
Rustで作られたテキスト分割ライブラリで、LLMの文脈窓に適した意味的に整合性のあるチャンクに長文ドキュメントを分割します。プレーンテキスト、Markdown、ソースコードをサポートします。
プロジェクト
TW-NLP/ChineseErrorCorrector
スペルおよび文法エラー修正のための SOTA モデル、評価ツール、およびデータ拡張を提供する、中国語テキスト修正のための包括的なプラットフォーム。