解決日文振假名生成中的上下文問題

閱讀日文對學習者來說是一項獨特的挑戰，因為單個漢字或詞組根據上下文的不同，可能會有多種有效的讀音。雖然簡單的基於字典的工具可以處理常見詞彙，但它們在面對「同形異義詞」時往往會失敗——即那些外觀相同但根據其語法角色或含義而有不同讀音的詞。

EZFurigana 是一款旨在解決這一特定問題的新工具。透過超越簡單的查找，並實施混合引擎，它旨在為各種格式（包括 PDF、圖像和電子書）提供準確且具備上下文感知能力的振假名（ruby text）。

技術架構：混合方法

根據開發者所述，該系統並不依賴單一算法，而是採用分層混合引擎，以確保在不同語言場景下的最大準確度：

1. 分詞與基礎分析

在核心部分，該工具使用 Sudachi，這是一款功能強大的形態分析器。Sudachi 負責處理初步的繁重工作：對文本進行分詞、識別基本形式、確定詞性 (POS)，並為每個 token 提供一組候選讀音。

2. 字典擴展與基於規則的邏輯

為了精煉結果，系統採用了針對詞組和固定表達式的擴展字典覆蓋。它還利用自定義規則來處理特定的日文語言特性，例如：

  • 計數詞與後綴：確保根據所計算的對象提供正確的讀音。
  • Rendaku：管理連濁（即詞組中第二個元素的第一個輔音會變為濁音）。
  • 短語覆蓋：針對字典經常誤判的常見短語進行硬編碼修正。

3. 使用 ModernBERT 的神經網絡回退機制

對於最困難的情況——特別是 144 個高度依賴上下文的目標詞彙——系統使用 ModernBERT 作為回退機制。這使得引擎能夠「理解」周圍的句子結構，從而在字典無法區分的讀音之間做出決定。

例如，系統旨在區分以下內容：

  • 市場: Ichiba (市場) vs. Shijou (市場/金融市場)
  • 人気: Ninki (人氣) vs. Hitoke (人的存在感)
  • 最中: Saichuu (在...之中) vs. Sanaka (中間) vs. Monaka (一種威化餅)

基準測試與現實世界性能

為了維持品質，開發者利用由 7,500 行日文組成的 LLM 輔助基準測試。目前的測試顯示，每 1,000 個 token 的錯誤率約為 12 個錯誤讀音。雖然這不是正式的學術研究，但這種回歸測試基準允許開發者在錯誤影響用戶之前進行迭代並捕捉錯誤。

儘管技術精湛，現實世界的應用揭示了日文本身的內在難度。Hacker News 上的用戶指出了一些系統仍感吃力的邊緣案例：

  • 細微的上下文：一位用戶指出，在句子 """今天 的 日本社會 中""" (In today's Japanese society) 中，工具可能難以區分 今日 作為 konnichi (今天/正式) 與 kyou (今天/非正式) 的讀音。
  • 誤讀：另一位用戶發現 "如何程" 被讀作 dou-hodo 而不是 ika-hodo。
  • 分詞錯誤：有案例提到在句子 """田中さん 是 今何 在做什麼""" (What is Tanaka-san doing now?) 中，"今何" 被錯誤地讀作 konna ni。

學習者的關鍵功能

除了技術引擎之外，EZFurigana 還包括幾項專為語言習得而設計的功能：

  • JLPT 過濾器：用戶可以根據日語能力測試 (N5 到 N1) 設置過濾器。例如，如果設置為 N3，工具將僅為 N3 級別或更高難度的漢字實施振假名，迫使學習者練習閱讀他們應該已經掌握的較簡單的 N5/N4 漢字。
  • 多格式支持：該工具支持多種輸入 (PDF, EPUB, SRT 字幕, 圖像) 和輸出 (HTML, TXT, Anki-ready flashcards)，使其成為將閱讀練習整合到日常工作流中的多功能工具。
  • 隱私優先設計：為了降低使用門檻，該工具不需要註冊，並且會在 24 小時內自動刪除上傳的文件。

未來的發展路徑

正如開發者所述，「最困難的剩餘案例」是人名、地名、罕見詞彙以及領域特定術語。這些對於即使是母語人士來說也極具挑戰性，且通常需要外部知識庫而非僅僅是語言模式。持續收集用戶回報的錯誤將是改進 ModernBERT 回退機制和自定義規則集的驅動力，使該工具更接近為日文學習者提供真正無縫的閱讀體驗。

Sources