Hugging Face SafeCoder 발표

TL;DR

Hugging Face가 기업이 자체 호스팅되는 완전한 규정 준수 코드 어시스턴트를 배포할 수 있는 완전한 상용 솔루션인 SafeCoder를 출시했습니다. 이를 통해 기업은 자체 Virtual Private Cloud (VPC) 내에서 자체 독점 코드베이스를 사용하여 Code Large Language Models (LLMs)를 미세 조정(fine-tune)하고 실행할 수 있으며, 민감한 지적 재산이 보안 환경을 벗어나지 않도록 보장합니다.

SafeCoder: 엔터프라이즈급 코드 어시스턴트

SafeCoder는 독립형 모델이 아니라, 폐쇄형 LLM과 관련된 보안 및 규정 준수 위험을 제거하면서 AI 페어 프로그래머의 생산성 이점을 제공하도록 설계된 엔드 투 엔드 상용 솔루션입니다.

SafeCoder 솔루션의 주요 특징은 다음과 같습니다:

  • Self-Hosting: 고객의 자체 인프라에 배포할 수 있도록 설계되었습니다.
  • Data Sovereignty: 학습 또는 추론 단계 중 어느 단계에서도 코드가 고객의 VPC를 벗어나지 않습니다.
  • Ownership: 고객은 결과물인 미세 조정된 Code LLM에 대한 소유권을 가집니다.
  • Hardware Flexibility: NVIDIA Ampere GPUs, AMD Instinct GPUs, Habana Gaudi2, AWS Inferentia 2 및 Intel Xeon Sapphire Rapids CPUs를 포함한 광범위한 가속기를 지원합니다.

기술적 기반: StarCoder 제품군

SafeCoder의 초기 버전은 BigCode 프로젝트(Hugging Face, ServiceNow 및 오픈 소스 커뮤니티 간의 협업)에서 개발한 StarCoder 모델 제품군을 기반으로 합니다.

StarCoder는 기업용 사용을 위해 몇 가지 기술적 이점을 제공합니다:

  • Performance: Multi-Query Attention(메모리 사용량 감소) 및 Flash Attention(8,192 토큰 컨텍스트까지 확장 가능)을 통해 추론에 최적화된 15B 파라미터 모델입니다.
  • Ethical Sourcing: 개발자 옵트아웃(opt-out) 메커니즘, PII 제거 및 중복 제거 기능이 내장된, 상업적으로 허용되는 라이선스 코드로만 구성된 데이터셋인 "The Stack"을 기반으로 학습되었습니다.
  • Adaptability: 오픈 소스 기반으로 구축되었기 때문에, SafeCoder는 더 새롭고 유능한 오픈 소스 모델이 출시되면 이를 활용하도록 업데이트될 수 있습니다.

개인정보 보호, 보안 및 규정 준수

SafeCoder는 기업이 AI 코딩 어시스턴트를 도입할 때 직면하는 주요 장벽인 미세 조정 또는 추론 중에 독점 코드가 유출될 위험 문제를 해결합니다.

개인정보 보호 및 보안 구현

설정 단계에서 Hugging Face는 고객이 내부 코드베이스를 학습 데이터셋으로 준비하고 비식별화하는 데 필요한 컨테이너, 스크립트 및 예제를 제공합니다. 이 학습은 고객의 자체 하드웨어에 구성된 Hugging Face 제공 컨테이너 내에서 수행됩니다. 배포를 위해 Hugging Face는 고객의 VPC 내에서 프라이빗 엔드포인트를 노출하는 추론 컨테이너를 제공합니다.

규정 준수 및 법적 리스크 완화

SafeCoder는 법적 리스크를 최소화하기 위해 BigScience 및 BigCode의 규정 준수 작업을 활용합니다. 구체적으로, SafeCoder가 생성한 코드 완성은 The Stack과 대조 확인됩니다. 이를 통해 사용자는 제안된 코드가 기존 소스 데이터와 일치하는지 식별하고 관련 라이선스를 확인할 수 있어, 고객이 선호하는 라이선스 정책을 집행할 수 있습니다.

워크플로우: 학습, 배포 및 사용

SafeCoder는 서비스, 소프트웨어 및 지원이 포함된 종합 패키지로 제공됩니다.

맞춤형 모델 학습

고객은 Hugging Face 팀이 학습 데이터셋 구축 및 독점 코드를 사용한 모델 미세 조정을 안내하는 학습 단계를 선택할 수 있습니다. 이를 통해 회사의 특정 언어, 표준 및 관행에 맞게 조정된 모델을 얻을 수 있으며, 벤더 종속(vendor lock-in)을 피하기 위한 향후 업데이트를 위한 파이프라인을 구축할 수 있습니다.

배포 및 통합

Hugging Face는 고객의 특정 인프라를 기반으로 처리량에 최적화된 하드웨어 가속 추론 컨테이너를 구축합니다. 배포가 완료되면 개발자는 VSCode 및 IntelliJ용 호환 IDE 플러그인을 통해 어시스턴트에 접속할 수 있습니다.

가용성 및 VMware 파트너십

SafeCoder는 VMware Explore 컨퍼런스에서 발표된 협업을 통해 VMware 엔터프라이즈 고객에게 제공됩니다. 이 파트너십을 통해 SafeCoder는 Ray 및 Kubeflow와 같은 도구를 사용하여 프라이빗 데이터셋 옆에 AI 서비스를 배포하는 VMware의 Private AI Reference Architecture를 사용하여 VMware Cloud 인프라(온프레미스, 하이브리드 또는 클라우드)에 배포될 수 있습니다.

Sources