解决日语振假名生成中的上下文问题

阅读日语对学习者来说是一个独特的挑战，因为单个汉字或词组根据上下文的不同，可能会有多种有效的读音。虽然简单的基于词典的工具可以处理常见词汇，但它们在处理“同形异义词”时往往会失败——即那些看起来完全相同，但根据语法角色或含义的不同而读音不同的词。

EZFurigana 是一款旨在解决这一特定问题的新工具。通过超越简单的查找并实现混合引擎，它旨在为包括 PDF、图像和电子书在内的各种格式提供准确的、具备上下文感知能力的振假名（ruby text）。

技术架构：一种混合方法

据开发者所言，该系统并不依赖单一算法，而是采用分层混合引擎，以确保在不同语言场景下的最大准确性：

1. 分词与基础分析

在核心层面，该工具使用 Sudachi，一个强大的形态分析器。Sudachi 负责处理最初的繁重工作：对文本进行分词、识别基础形式、确定词性 (POS)，并为每个 token 提供一组候选读音。

2. 词典扩展与基于规则的逻辑

为了优化结果，系统为复合词和固定表达采用了扩展的词典覆盖范围。它还利用自定义规则来处理特定的日语语言特性，例如：

• 量词与后缀：确保根据所计数的对象提供正确的读音。
• Rendaku：管理连浊现象（即复合词中第二个元素的第一个辅音变为浊音）。
• 短语覆盖：针对词典经常误判的常见短语进行硬编码修正。

3. 使用 ModernBERT 的神经回退机制

对于最困难的情况——特别是 144 个高度依赖上下文的目标词汇——系统使用 ModernBERT 作为回退方案。这使得引擎能够“理解”周围的句子结构，从而在词典无法区分的读音之间做出决策。

例如，系统旨在区分以下词汇：

• 市場: Ichiba (市场) vs. Shijou (市场/金融市场)
• 人気: Ninki (人气) vs. Hitoke (人的存在感)
• 最中: Saichuu (在...之中) vs. Sanaka (中间) vs. Monaka (一种糯米饼)

基准测试与现实世界表现

为了保持质量，开发者利用基于 LLM 辅助的基准测试，包含 7,500 行日语文本。目前的测试表明，错误率大约为每 1,000 个 token 出现 12 个错误读音。虽然这不是正式的学术研究，但这种回归测试基准允许开发者在错误到达用户之前对其模型进行迭代优化。

尽管技术先进，但在现实世界的使用中揭示了日语语言固有的难度。Hacker News 上的用户指出了几个系统仍在使用中挣扎的边缘案例：

• 细微的上下文差异：一位用户指出，在句子 "今日の日本社会では" (在当今的日本社会) 中，工具可能难以区分 今日 的读音是 konnichi (今日/正式) 还是 kyou (今日/非正式)。
• 误读：另一位用户发现 "如何程" 被读成了 dou-hodo 而不是 ika-hodo。
• 分词错误：有案例提到在句子 "田中さんは今何をしている" (田中先生现在在做什么？) 中，"今何" 被错误地读成了 konna ni。

学习者的核心功能

除了技术引擎之外，EZFurigana 还包含了几项专门为语言习得而设计的特性：

• JLPT 过滤：用户可以根据日语能力测试 (N5 到 N1) 设置过滤器。例如，如果设置为 N3，工具将仅为 N3 级别或更高难度的汉字提供振假名，从而迫使学习者练习阅读他们本应已经掌握的更简单的 N5/N4 级汉字。
• 多格式支持：该工具支持广泛的输入 (PDF, EPUB, SRT 字幕, 图像) 和输出 (HTML, TXT, Anki-ready flashcards)，使其成为将阅读练习融入日常工作流的通用工具。
• 隐私优先设计：为了降低使用门槛，该工具无需注册，并且会在 24 小时内自动删除上传的文件。

前行之路

正如开发者所言，“最难的剩余案例”是人名、地名、场所名、罕见词汇以及领域特定术语。这些对于即使是母语人士来说也极具挑战性，而且通常需要外部知识库，而不仅仅是语言模式。持续收集用户报告的错误将成为改进 ModernBERT 回退机制和自定义规则集的驱动力，推动该工具向为日语学习者提供真正无缝的阅读体验迈进。