Ryght 사례 연구: Hugging Face와 함께하는 생명과학 생성 AI 플랫폼 구축
Ryght는 Ryght Preview를 공식 출시했으며, 이는 의료 및 생명과학 분야를 위해 특별히 설계된 엔터프라이즈급 생성 AI 플랫폼입니다. Expert Support Program을 통해 Hugging Face와 파트너십을 맺음으로써, Ryght는 유전체, EMR, 임상 데이터와 같은 복잡한 데이터 소스 전반에 걸친 연구, 분석 및 문서화를 가속화하는 산업 맞춤형 AI 코파일럿 및 맞춤 솔루션을 제공하는 SaaS 플랫폼을 개발했습니다.
유연성과 보안을 위한 기술 아키텍처
Ryght는 "플러그 가능한" LLM 아키텍처를 활용하여 의료 특화 대형 언어 모델의 급속한 발전에 맞춰 플랫폼이 진화할 수 있도록 합니다. 이 설계는 Ryght가 새로운 특화 모델이 등장할 때 기존 서비스를 방해하지 않고 원활하게 평가하고 통합할 수 있게 합니다.
Hugging Face 추론 서비스 통합
고성능 및 엔터프라이즈급 보안을 달성하기 위해 Ryght는 다음 Hugging Face 도구들을 통합했습니다:
- Text Generation Inference (TGI) 및 Inference Endpoints: 이 서비스는 Ryght가 LLM을 등록하고 이를 고객 전용 추론 엔드포인트와 연결할 수 있게 합니다. 이 설정은 연결을 안전하게 보호하고 실시간으로 다양한 LLM 간 전환할 수 있는 유연성을 제공합니다.
- Text Embeddings Inference (TEI): TEI를 통해 오픈소스 임베딩 모델을 제공함으로써 Ryght는 독점 임베딩에 대한 의존도를 낮췄습니다. 이 전환으로 추론 속도가 빨라지고, 속도 제한 제약이 사라지며, 생명과학 분야에 맞춘 파인튜닝 모델을 배포할 수 있게 되었습니다.
성능 및 확장성
다수의 동시 고객과 대량의 동시 요청을 지원하기 위해 Ryght의 인프라스트럭처는 고급 배칭, 큐잉 및 GPU 전반에 걸친 모델 처리 분산을 포함합니다. 이 아키텍처는 낮은 지연 시간을 유지하고 높은 수요 기간 동안 성능 병목 현상을 방지하도록 설계되었습니다.
Expert Support를 통한 개발 과제 극복
Ryght는 Hugging Face의 Expert Support Program을 활용해 AI 환경의 복잡성을 헤쳐 나가고 시장 출시 시간을 가속화했습니다.
빠른 역량 강화 및 지식 전수
AI/ML 분야가 빠르게 진화하기 때문에 Ryght는 비동기 커뮤니케이션 채널, 정기적인 자문 회의, 그리고 Hugging Face 전문가와의 기술 워크숍을 활용해 의료 분야와 관련된 최신 기술 및 모델을 지속적으로 파악했습니다.
전략적 ML 선택
과도한 도구와 라이브러리 옵션의 "소음"을 피하기 위해 Ryght는 솔루션 설계, 개념 증명 개발, 그리고 프로덕션 워크로드 최적화를 위해 Hugging Face와 협업했습니다. 이 파트너십을 통해 프레임워크와 모델에 대한 맞춤형 권고를 받아 의사결정 과정을 간소화했습니다.
생명과학 워크플로우에 미치는 영향
Ryght의 플랫폼은 이전에 간단한 질의나 ML 모델 개발에 대규모 팀이 필요했던 구식 데이터 분석 방식을 대체하는 것을 목표로 합니다. 플랫폼의 코파일럿 라이브러리는 다음을 가속화하도록 설계되었습니다:
- 정보 검색: 다양한 데이터 소스에서 인사이트를 신속하게 추출합니다.
- 합성 및 구조화: 복잡한 비정형 데이터를 실행 가능한 지식으로 변환합니다.
- 문서 작성: 문서화에 소요되는 시간을 주에서 일 또는 시간 단위로 단축합니다.
"Hugging Face의 전문가 지원과의 파트너십은 우리 생성 AI 플랫폼 개발을 가속화하는 데 중요한 역할을 했습니다. 급변하는 AI 환경은 우리 산업을 혁신할 잠재력을 가지고 있으며, Hugging Face의 고성능 및 엔터프라이즈 준비된 Text Generation Inference (TGI)와 Text Embeddings Inference (TEI) 서비스는 각각 자체적으로 게임 체인저입니다." — Johnny Crupi, Ryght CTO
SUMMARY: Ryght는 의료 및 생명과학 분야를 위한 엔터프라이즈급 생성 AI 플랫폼인 Ryght Preview를 출시했으며, Hugging Face의 Expert Support, TGI, TEI를 활용해 안전하고 유연하며 고성능 AI 코파일럿을 제공합니다.
TITLE: Ryght 사례 연구: Hugging Face와 함께하는 생명과학 생성 AI 플랫폼 구축