Ryght 案例研究：使用 Hugging Face 构建生命科学生成式 AI 平台

Ryght 正式推出了 Ryght Preview，这是一款专为医疗保健和生命科学领域设计的企业级生成式 AI 平台。通过与 Hugging Face 的专家支持计划合作，Ryght 开发了一个 SaaS 平台，提供行业特定的 AI 副驾驶和定制解决方案，以加速对基因组学、电子病历（EMR）和临床数据等复杂数据源的研究、分析和文档编写。

灵活性与安全性的技术架构

Ryght 采用了“可插拔”的 LLM 架构，以确保平台能够随医学专用大型语言模型的快速发展而演进。该设计使 Ryght 能够在新模型出现时无缝评估并集成，而不会中断现有服务。

Hugging Face 推理服务的集成

为实现高性能和企业级安全，Ryght 集成了以下 Hugging Face 工具：

  • Text Generation Inference (TGI) and Inference Endpoints: 这些服务使 Ryght 能够注册大型语言模型并将其链接到客户特定的推理端点。此设置可确保连接安全，并提供实时在不同 LLM 之间切换的灵活性。
  • Text Embeddings Inference (TEI): 通过使用 TEI 提供开源嵌入模型，Ryght 减少了对专有嵌入的依赖。此转变带来了更快的推理速度、消除了速率限制约束，并能够部署针对生命科学领域定制的微调模型。

性能与可扩展性

为了支持多个同时在线的客户以及大量并发请求，Ryght 的基础设施采用了先进的批处理、排队以及跨 GPU 的模型处理分配。该架构旨在保持低延迟，并在高需求期间防止性能瓶颈。

通过专家支持克服开发挑战

Ryght 利用 Hugging Face 的专家支持计划，驾驭 AI 领域的复杂性，加速产品上市时间。

快速提升技能与知识转移

由于 AI/ML 领域发展迅速，Ryght 使用了异步沟通渠道、定期咨询会议以及与 Hugging Face 专家的技术研讨会，以保持对医疗保健相关最新技术和模型的了解。

战略性机器学习模型选择

为避免过多工具和库选项带来的“噪音”，Ryght 与 Hugging Face 合作进行解决方案设计、概念验证开发以及生产工作负载优化。此合作提供了针对框架和模型的定制化建议，简化了决策过程。

对生命科学工作流的影响

Ryght 的平台旨在取代过去需要大型团队才能完成简单查询或机器学习模型开发的陈旧数据分析方法。平台的副驾驶库旨在加速：

  • Information Retrieval: 快速从多样化的数据源中提取洞见。
  • Synthesis and Structuring: 将复杂的非结构化数据转化为可操作的知识。
  • Document Building: 将文档编写时间从数周缩短至数天或数小时。

“我们与 Hugging Face 的专家支持的合作在加速我们生成式 AI 平台的开发中发挥了关键作用。快速演进的 AI 生态有潜力彻底改变我们的行业，而 Hugging Face 高性能且企业级就绪的 Text Generation Inference (TGI) 和 Text Embeddings Inference (TEI) 服务本身就是改变游戏规则的力量。” — Johnny Crupi，Ryght 首席技术官

Sources