허깅페이스 모델이 아마존 베드록 마켓플레이스에 제공됨

허깅페이스 오픈 모델이 이제 아마존 베드록에서 이용 가능

허깅페이스는 베드록 마켓플레이스의 출시를 발표했으며, 이를 통해 AWS 고객은 83개의 인기 오픈 모델을 아마존 베드록 내에서 직접 배포할 수 있습니다. 이 통합을 통해 개발자는 오픈소스 모델의 유연성과 아마존 베드록의 완전 관리형 인프라를 결합할 수 있으며, 에이전트, 지식 베이스, 가드레일, 모델 평가와 같은 고급 서비스와의 네이티브 호환성도 포함됩니다.

기술 아키텍처 및 통합

베드록 마켓플레이스 모델 엔드포인트는 내부적으로 아마존 세이지메이커 점프스타트로 구동됩니다. 이 아키텍처를 통해 사용자는 세이지메이커 점프스타트가 제공하는 배포의 용이성을 활용하면서 동시에 아마존 베드록의 관리형 인프라 및 API 생태계를 이용할 수 있습니다.

배포 방법

아마존 베드록과 함께 오픈 모델을 배포하는 두 가지 주요 경로는 다음과 같습니다:

  1. 베드록 모델 카탈로그: 사용자는 이용 가능한 14개 리전 중 어느 곳에서든 베드록 모델 카탈로그에서 "허깅페이스" 제공업체로 필터링하여 모델을 검색할 수 있습니다.
  2. 아마존 세이지메이커 점프스타트: 사용자는 점프스타트를 통해 모델을 배포한 후 이를 베드록에 등록할 수 있습니다.

가격 모델

아마존 베드록에서 세이지메이커 점프스타트 엔드포인트를 등록할 때 비용은 다음과 같이 구성됩니다:

  • 컴퓨팅: 사용자는 모델을 호스팅하는 데 사용되는 기본 세이지메이커 컴퓨팅 리소스에 대해 비용을 지불합니다.
  • API 액세스: 표준 아마존 베드록 API 가격이 적용됩니다.

구현 워크플로우: 젬마 2 27B 인스트럭트 배포

통합을 시연하기 위해 허깅페이스는 구글 젬마 2 27B 인스트럭트 모델을 배포하는 워크플로우를 제공합니다:

1. 배포 프로세스

  • 선택: 베드록 모델 카탈로그에서 구글 젬마 2 27B 인스트럭트를 찾습니다.
  • 구성: 엔드포인트 이름, 인스턴스 구성(예: ml.g5.48xlarge), 네트워킹/서비스 역할 설정을 선택합니다.
  • 준수: 모델 제공업체의 최종 사용자 라이선스 계약(EULA)에 동의합니다.
  • 실행: 사용자의 아마존 세이지메이커 테넌시에 모델을 배포합니다.

2. 프로그래밍 방식 액세스

배포된 후 모델은 해당 엔드포인트 ARN을 통해 액세스할 수 있습니다. 개발자는 AWS SDK(예: 파이썬용 boto3) 또는 AWS CLI를 사용하여 모델을 호출할 수 있습니다.

베드록 컨버스 API를 사용할 때, 요청은 modelId로 endpoint_arn을 전달하여 구조화됩니다.これにより、モデルは標準のベッドロック推論パラメータ（例: maxTokens, temperature, topP）および repetition_penalty と top_k のようなモデル固有のフィールドを使用してアプリケーションに統合できます。

3. 리소스 관리

지속적인 비용을 방지하려면 사용자는 실험을 완료한 후 아마존 베드록 콘솔의 "마켓플레이스 배포" 페이지에서 엔드포인트를 수동으로 삭제해야 합니다.

Sources