OpenAI 與冰島政府合作保護冰島語言

OpenAI 已與冰島政府、非營利語言技術中心 Almannarómur 以及語言技術公司 Miðeind ehf 合作，將 GPT-4 整合到冰島語言保存的工作中。此合作旨在防止冰島語在數位時代的消亡，確保該語言在公民日常使用的 AI 應用與軟體中保持功能性與準確性。

使用 RLHF 解決低資源語言挑戰

強化學習自人類回饋 (Reinforcement Learning from Human Feedback, RLHF) 正被用來提升 GPT-4 在冰島語的熟練度，克服傳統微調在低資源語言上的限制。雖然 GPT-4 本身較前代更具能力，但它最初仍會產生語法錯誤與不正確的文化知識。

為了解決此問題，由 Miðeind ehf 領導的 40 位志願者團隊實施了 RLHF 流程，讓人類測試者：

  1. 向 GPT-4 提供提示。
  2. 檢視四個生成的完成內容。
  3. 選擇最佳回應並編輯成理想的完成內容。

此回饋迴路隨後用於進一步訓練模型。此方法較先前微調 GPT-3 的嘗試更為高效，後者即使在 300,000 個範例後仍未能產生符合語法的冰島語。相較之下，RLHF 僅需約 100 個範例即可產生有意義的結果，為其他「長尾」或低資源語言提供避免「AI 鴻溝」的可行途徑。

語言與文化準確性的提升

GPT-4 在處理冰島語方面較 GPT-3 與 GPT-3.5 有顯著提升，尤其在文化細微差異與正確翻譯方面。

翻譯準確性

此提升的一個例子是「Donald Duck」的翻譯。GPT-3 與 ChatGPT（GPT-3.5）給出錯誤答案，而 GPT-4 正確辨識出冰島語名稱為「Andrés Önd」。

文化與情境感知

GPT-4 會根據提示的語言給出不同回應，從而提供在地化的情境：

  • 冰島語提示： 當被問及議員人數時，GPT-4 正確指出 Alþingi（冰島議會）有 63 位議員。
  • 英文提示： 用英文提出相同問題時，模型提供了多個國家（英國、加拿大、印度、澳洲）的議員概況列表。
  • 總統情境： 用冰島語詢問總統是誰時，模型正確辨識出 Guðni Th. Jóhannesson（截至 2021 年）。

實務應用與未來目標

此合作的最終目標是讓冰島公司能在其互動式應用中部署 GPT-4，而不必預設使用英語。這確保母語在數位互動中仍為預設語言。

主要規劃的應用包括：

  • 語音助理： 由 Miðeind 開發的語音助理應用 Embla，將使用 GPT-4 作為後端，提供流暢的冰島語對話與翻譯。
  • 商業整合： 冰島公司可在網站上部署原生冰島語聊天機器人，而不必依賴英語替代方案。

儘管已有這些進展，團隊仍持續精進模型，以消除剩餘的語法與拼寫錯誤，確保模型能在冰島語中支援複雜且具創意的應用。

Sources