Claude 3 Haiku 在 Amazon Bedrock 中的微調

TL;DR

Anthropic 已宣布在 Amazon Bedrock 中提供 Claude 3 Haiku 的微調功能。此功能允許組織使用其專有的訓練數據來客製化模型，以提高在專業任務上的準確度，同時保持 Haiku 模型的高速度與成本效益。

透過微調客製化 Claude 3 Haiku

微調功能可以透過高品質的提示詞-完成對（prompt-completion pairs）來訓練，進而建立 Claude 3 Haiku 的客製化版本。此過程讓模型能夠在高度量身打造的工作流程以及一般模型可能不具備的專業業務知識方面表現出色。

使用者可以利用 Amazon Bedrock 控制台或 API 來測試並精煉其客製化模型，直到達到效能目標後再進行部署。

關鍵技術與營運優勢

微調 Claude 3 Haiku 為生產環境部署提供了幾項策略優勢：

• 增強專業效能：模型可以針對特定領域的操作進行優化，包括特定行業的數據解讀、分類以及與自定義 API 的互動。
• 降低成本與延遲：組織可以使用微調後的 Haiku 模型來取代 Claude 3 Sonnet 或 Opus 等較大的模型來處理特定任務，從而實現更快的響應時間與更低的營運成本。
• 品牌與法規一致性：微調可確保輸出結果具有一致的結構，例如自定義架構（schemas）或標準化報告，這對於內部協議與法規遵循至關重要。
• 安全性與安全性：專有的訓練數據會保留在客戶的 AWS 環境中。此外，Anthropic 的微調方法旨在保留 Claude 3 模型系列特有的低有害輸出風險特性。
• 易用性：該 API 旨在供各種規模的公司使用，降低了實施微調對內部深厚 AI 專業知識的需求。

效能案例研究：內容審核

Anthropic 透過將微調應用於線上論壇評論的審核（以識別威脅、侮辱與露骨內容）來展示其成效。結果顯示效率與準確度均有顯著提升：

• 準確度：分類準確度從 81.5% 提升至 99.6%。
• 效率：每次查詢的 Token 數量減少了 85%。

行業應用與客戶成果

數個組織已將微調後的 Claude 模型整合到其營運中：

SK Telecom

SK Telecom 使用客製化 Claude 模型來優化客戶支援工作流程。根據 AI Tech Collaboration Group 副總裁 Eric Davis 的說法，成果包括：

• 客服人員回應的正向回饋增加了 73%。
• 電信相關任務的關鍵績效指標（KPIs）提升了 37%。
• 在從客戶通話記錄中生成摘要、行動項目與主題方面的效率有所提升。

Thomson Reuters

Thomson Reuters 正利用微調功能來增強法律、稅務、會計與合規專業人士的 AI 輔助功能。該公司旨在利用其行業專業知識，以更快的速度提供更準確且一致的使用者體驗。

提供能力與技術規格

Claude 3 Haiku 的微調功能已在 Amazon Bedrock 中正式提供。初步規格包括：

• 區域：可在 US West (Oregon) AWS 區域使用。
• 功能：目前支援文字基礎的微調。
• 上下文長度：支援高達 32K tokens 的上下文長度。
• 未來發展藍圖：計劃未來引入視覺能力。