Hugging Face 倫理與社會通訊 #6：資料品質的重要性

TL;DR

Hugging Face 主張，高品質資料不僅僅是量或準確度，而是要「符合其預期用途」。在 AI 開發全生命週期中優先考慮資料品質，對提升模型效能、確保包容性代表性、促進治理，以及解決 AI 研究中的可重現性危機皆屬關鍵。

定義高品質資料

資料品質取決於資料與手頭特定任務需求的契合程度。Hugging Face 倡導「安全設計」的方式，在開發最早階段就進行深思熟慮的資料選取。高品質資料的關鍵面向包括：

相關性： 資料必須直接適用於問題。無關的資料會產生噪聲，掩蓋模式，導致效能不佳。
完整性（Comprehensiveness）： 資料集必須涵蓋現實情境的全部範圍與多樣性，以避免偏見與被忽視的問題。
即時性（時效性/新鮮度）： 資料必須反映當前情況，尤其在快速變化的領域，以防系統變得無效或危險。
偏見緩解： 資料選取必須積極避免編碼有害的社會偏見、刻板印象，或邊緣群體的低代表性。

資料品質對 AI 結果的影響

投資於資料品質是打造有效且符合倫理的 AI 系統的基本需求。其效益可分為以下幾個關鍵領域：

模型效能與效率

更高的資料品質直接與模型結果的提升相關。細緻的清理——去除噪聲、修正錯誤、統一格式——可提升準確度。此外，較乾淨且較小的資料集能夠產生更緊湊、參數效率更高的模型，減少訓練與推論所需的計算資源與能源。

代表性與包容性

高品質資料必須能代表所有社會群體與語言，以減少文化偏見。Hugging Face 強調，訓練資料常過度代表主導群體，導致偏斜的呈現與有害的刻板印象。為了對抗這種情況，實驗室推動參與式資料收集與社群倡議，例如「Data is Better Together」計畫與針對非洲語言的 Masakhane 計畫。

治理、問責與可重現性

關於資料來源、授權與前處理的透明度對於有效的 AI 治理至關重要。清晰的資料來源文件化可供外部稽核與驗證。在科學界，嚴格的資料品質與文件化是解決「可重現性與可複製性危機」的必要條件，確保研究結果能被其他研究者審查與延伸。

適應性與泛化能力

為確保模型在不同情境下具備泛化能力，資料必須涵蓋廣泛的文化、環境與邊緣案例。這需要持續的策展與回饋迴路，以偵測「資料漂移」與效能下降，因應真實世界環境的變化。

文件化與合成資料的角色

高品質文件化

文件化與資料本身同等重要。Hugging Face 推廣使用 dataset cards（以及資料聲明、資料表、資料營養標籤等方法），提供資料來源、組成、處理步驟與原始目的的完整概覽。這提升了可用性、協作與透明度。

合成資料的考量

雖然合成資料是成本效益高且具可擴展性的真實資料替代方案（如 Cosmopedia 計畫所示），但亦伴隨風險。若生成演算法帶有偏見，合成資料亦會如此。過度依賴合成資料可能導致「模型崩潰」，即模型過度調整至合成模式。Hugging Face 建議審慎使用合成資料，並以真實資料作補充，且透過浮水印明確標示生成內容。

Hugging Face 的資料品質實踐

Hugging Face 採用多項技術策略，以在其各專案中維持高資料標準：

過濾與去重： 使用如 DataTrove 等工具，實驗室移除冗餘條目與無關噪聲，正如在建立 FineWeb-Edu 資料集時的示範。
負責任的多模態創建： 針對 OBELICS 資料集，Hugging Face 實施了選擇退出過濾（透過如 Spawning 的 API）以尊重創作者權利，將影像冗餘限制為每張影像最多十次，並使用開源分類器排除 NSFW 內容。
多元程式碼選取： 在 The Stack V2 中，實驗室專注於謹慎挑選儲存庫，以確保涵蓋廣泛的程式語言與框架，並結合自動與人工品質檢查。
人類回饋整合： 實驗室使用如 Argilla 的標記工具納入利害關係人回饋，進而改進 UltraFeedback 資料集與後續的 Notus 模型。