Hugging Face와 IBM의 watsonx.ai 파트너십

Hugging Face와 IBM은 Hugging Face의 오픈소스 라이브러리와 모델을 watsonx.ai에 통합하기 위해 파트너십을 체결했습니다. watsonx.ai는 전통적인 머신러닝과 생성 AI 기능을 모두 학습, 검증, 튜닝 및 배포하도록 설계된 엔터프라이즈 AI 스튜디오입니다. 이번 협업을 통해 기업 사용자는 클라우드와 온프레미스 모두에서 지원되는 관리형 환경 내에서 방대한 사전 학습 모델 생태계와 커뮤니티 기반 도구를 활용할 수 있게 됩니다.

엔터프라이즈 AI 요구사항과 표준화의 역할

엔터프라이즈 AI 도입은 단일 보편적 모델이 아니라 특정 기업 데이터와 컴퓨팅 예산에 맞춘 특화 모델이 필요하다는 점에서 촉진됩니다. 대규모 조직은 종종 다양한 사업 부문에 걸쳐 수백에서 수천 개의 모델을 배포해야 하며, 매 프로젝트마다 인프라를 새로 구축하는 것을 방지하기 위해 표준화된 학습 및 배포 접근 방식이 필요합니다.

표준화는 다음 세 가지 주요 요인에 의해 촉진됩니다:

• 모델 아키텍처: Transformer 아키텍처는 자연어 처리, 컴퓨터 비전, 오디오/음성 등 딥러닝 애플리케이션 전반에 걸쳐 사실상의 표준이 되었습니다.
• 사전 학습 모델: 수십만 개에 달하는 사전 학습 모델에 접근함으로써 개발자는 유망한 후보를 빠르게 선별할 수 있습니다.
• 오픈소스 라이브러리: 커뮤니티 기반 도구는 한 줄의 코드로 모델을 다운로드하고 실험할 수 있게 해 주어, 로컬 개발 환경에서 프로덕션 환경까지 일관성을 보장합니다.

watsonx.ai 기술 통합

watsonx.ai는 RedHat OpenShift 위에 구축되어 클라우드와 온프레미스 모두에서 사용할 수 있습니다. 이는 엄격한 규정 준수가 요구되거나 기밀 데이터를 자체 인프라에 보관하고자 하는 조직에 중요한 대안을 제공하며, 자체 ML 플랫폼을 처음부터 구축할 필요성을 없애줍니다.

기술적으로 watsonx.ai는 핵심 Hugging Face 오픈소스 라이브러리를 여러 개 통합하여 기본 기능을 구현합니다:

• transformers: 사전 학습 모델을 다운로드하고 활용하기 위한 주요 라이브러리.
• accelerate: 하드웨어 및 학습 성능 최적화를 위한 도구.
• e
• Text Generation Inference (TGI): 최적화된 모델 배포를 위한 서버.

AI 구축자를 위한 전략적 함의

이번 파트너십을 통해 Hugging Face 고객은 IBM 플랫폼 내에서 모델과 데이터셋을 네이티브하게 사용할 수 있게 됩니다. 또한 IBM은 자체 대형 언어 모델(LLM) 컬렉션을 개발 중이며, 이를 오픈소스로 공개하고 Hugging Face Hub에 제공할 예정입니다. 이를 통해 보다 넓은 AI 커뮤니티가 활용할 수 있는 기반 모델 풀을 확대하게 됩니다.

SUMMARY: Hugging Face와 IBM은 Hugging Face 오픈소스 라이브러리와 모델을 watsonx.ai에 통합하기 위해 파트너십을 체결했습니다. watsonx.ai는 기반 모델을 학습, 튜닝 및 배포하기 위한 엔터프라이즈 AI 스튜디오입니다.

TITLE: Hugging Face와 IBM의 watsonx.ai 파트너십