metasequoiaime/chinese-ime-lm

解決する課題

中国語入力メソッドでは、ユーザーがピンインを入力した際に正しい文字を選択する必要があります。このプロジェクトは、従来の n-gram 統計と現代的なニューラルネットワークの両方を使用して、その選択精度を向上させる言語モデルを構築します。また、異なるアプローチを公平に比較するための共有評価セットも提供します。

仕組み

このプロジェクトには、特定のピンインに対する候補文字を決定するための2つの並列パイプラインがあります。

• n-gram ルート：生のテキストを純粋な中国語セグメントにクリーニングし、KenLM を使用して 1/2/3-gram カウントを構築し、Viterbi アルゴリズムを使用してデコードします。
• ニューラルルート：クリーンで再配布可能なコーパス（C4 および LCCC）を取得し、候補リストを再ランク付けするための文字レベルの Transformer をトレーニングし、小型の int8 モデルをエクスポートします。

両方のパイプラインは、同じ評価セット（25,119 個の単語レベルおよび 60 個の文レベルのケース）で測定されます。この評価セットは、2つの微妙な測定上の落とし穴を回避するように慎重に設計されており、主観的な変更を数値スコアに変換します。

ニューラルモデルは 4.5 MB および 25.5 MB と非常に小型です。同じ候補プールで、より大規模なオープンモデル（Qwen 0.6B/0.8B）と直接比較テストを行ったところ、小型モデルはランキング品質においてそれらと同等かそれ以上であり、統計的に有意な差はありませんでした。真の利点はサイズとレイテンシにあり、小型モデルははるかに高速に動作し、メモリ消費も大幅に抑えられます。

対象読者

中国語入力メソッドやピンインから漢字への変換システムを構築する開発者、およびアジア言語のテキスト入力のための言語モデルを研究する研究者向けです。スマートフォンやリソースの限られたデバイスで動作する、小型で高速なリランカーが必要な場合の有用なリファレンスでもあります。

ハイライト

• 2つの完全で比較可能なアプローチ：古典的な n-gram + Viterbi と、現代的な Transformer リランカー。
• 25,119 個の単語レベルおよび 60 個の文レベルのケースを含む厳密な評価セットと、文書化された測定上の落とし穴。
• 非常にコンパクトなニューラルモデル（4.5 MB および 25.5 MB）。ランキング品質でより大規模なオープンソースモデルに匹敵しつつ、サイズは 140～380 倍小さく、速度は一桁高速です。
• プロジェクトはスクリプトのみを配布し、コーパスやトレーニング済みウェイトは含まれていません。クリーンで再ライセンス可能なコーパスは corpus/fetch.py を通じて取得され、トレーニング済みウェイトは Hugging Face 上で Apache-2.0 ライセンスの下で公開されています。
• unsafe コードを含まず、serde 以外の依存関係を持たない Rust によるリファレンス実装 (reference/)。あらゆる入力メソッドへの統合が容易です。