Ryght 案例研究：使用 Hugging Face 建構生命科學生成式 AI 平台

Ryght 正式推出 Ryght Preview，一個專為醫療保健與生命科學領域設計的企業級生成式 AI 平台。透過與 Hugging Face 的專家支援計畫合作，Ryght 開發了一個 SaaS 平台，提供行業特定的 AI 助手與客製化解決方案，以加速基因組學、電子病歷（EMR）以及臨床資料等複雜資料來源的研究、分析與文件編寫。

靈活性與安全性的技術架構

Ryght 採用「可插拔」的 LLM 架構，以確保平台能隨醫療專屬大型語言模型的快速發展而演進。此設計讓 Ryght 能在不影響現有服務的情況下，無縫評估與整合新出現的專業模型。

整合 Hugging Face 推論服務

為了達成高效能與企業級安全性，Ryght 整合了以下 Hugging Face 工具：

• Text Generation Inference (TGI) 與 Inference Endpoints：這些服務讓 Ryght 能註冊 LLM，並將其連結至客戶專屬的推論端點。此配置確保連線安全，並提供即時切換不同 LLM 的彈性。
• Text Embeddings Inference (TEI)：透過 TEI 提供開源嵌入模型，Ryght 減少了對專有嵌入的依賴。此轉變帶來更快的推論速度、解除速率限制，並能部署針對生命科學領域微調的模型。

效能與可擴展性

為支援多位同時客戶與大量並發請求，Ryght 的基礎設施結合了先進的批次處理、排隊機制，以及跨 GPU 的模型處理分配。此架構旨在維持低延遲，並防止高需求時段出現效能瓶頸。

透過專家支援克服開發挑戰

Ryght 利用 Hugging Face 的專家支援計畫，應對 AI 版圖的複雜性，並加速上市時間。

快速升能與知識轉移

由於 AI/ML 領域變化迅速，Ryght 採用非同步溝通管道、定期諮詢會議以及與 Hugging Face 專家的技術工作坊，以保持對醫療相關最新技術與模型的掌握。

策略性 ML 選型

為避免過多工具與函式庫選項的「噪音」，Ryght 與 Hugging Face 合作進行解決方案設計、概念驗證開發與生產工作負載優化。此合作提供了針對框架與模型的客製化建議，簡化了決策流程。

對生命科學工作流程的影響

Ryght 的平台旨在取代過去需要大型團隊才能完成簡單查詢或 ML 模型開發的老舊資料分析方式。平台的助理庫設計用以加速：

• 資訊檢索：快速從多元資料來源提取洞見。
• 綜合與結構化：將複雜的非結構化資料轉化為可行的知識。
• 文件建構：將文件編寫時間從數週縮減至數天或數小時。

「我們與 Hugging Face 的專家支援合作在加速我們生成式 AI 平台的開發上扮演了關鍵角色。快速演變的 AI 版圖有潛力徹底改變我們的產業，而 Hugging Face 高效能且企業就緒的 Text Generation Inference (TGI) 與 Text Embeddings Inference (TEI) 服務本身就是改變遊戲規則的力量。」 — Johnny Crupi，Ryght 首席技術官