nieldlr/hanzi

解决的问题

HanziJS 为 Node.js 提供了一套中文语言处理工具，专为帮助语言学习者探索汉字的结构、意义和发音而设计。

工作原理

它作为多个语言学数据集的封装和处理引擎，包括 CC-CEDICT 用于定义、Junda 语料库用于字符频率，以及莱顿大学数据用于词频。它提供程序化 API 来查询这些数据集，并执行字符分解和句子分割等算法任务。

适用人群

开发面向中文学习者的教育工具，或需要基础中文自然语言处理（NLP）功能的应用程序的开发者。

主要亮点

• 字符分解：在三个不同层级上将字符分解为组成部分：一次、部首或图形。
• 词典集成：使用 CC-CEDICT 执行定义查询和复合词搜索。
• 语音分析：计算语音规律性，以查看字符发音与其组成部分的关系。
• 文本分段：使用最长匹配查找将中文短语拆分为单个词语。
• 频率数据：基于公认的语料库提供字符和词语频率统计数据。