모든 규모에서의 Namespace Mac: 소비자 하드웨어로 데이터센터 인프라 구축하기

데이터센터에 MacBook을 배포하는 것은 지속적인 업계 문제에 대한 비전통적인 해결책입니다: iOS 개발을 위한 Apple 하드웨어의 필요성과 Mac Mini의 극심한 공급망 변동성입니다. Namespace는 소비자용 MacBook을 서버급 컴퓨팅으로 취급하고, 맞춤형 랙을 구축하며, 복잡한 가상화 워크플로우를 자동화하여 안정적이고 고성능의 macOS 인스턴스에 대한 고객 수요를 충족시키는 방식으로 이 접근 방식을 확장했습니다.

MacBook 데이터센터의 논리

Mac Mini는 서버 환경의 표준 선택이지만, 상당한 공급망 지연과 업데이트된 실리콘의 예측 불가능한 출시 주기로 어려움을 겪습니다. 하드웨어에 대한 수개월의 대기 시간에 직면했을 때, Namespace는 서비스 가용성을 유지하기 위해 MacBook으로 전환했습니다. 통합 화면, 배터리, 중복 전원 부족과 같은 노트북 관리의 고유한 과제에도 불구하고, 이 결정은 최신 Apple 실리콘에 대한 일관된 접근을 가능하게 하며, 이는 최신 Xcode 버전과 iOS 런타임을 지원해야 하는 개발자에게 중요합니다.

인프라 및 랙 관리

랙에서 수백 대의 노트북을 관리하려면 물리적 및 운영상의 제약을 처리하기 위한 맞춤형 엔지니어링이 필요합니다:

  • 연결성: 각 장치에는 외장 10G 이더넷 NIC가 장착되어 있으며 원격 관리를 위해 IP KVM에 연결되어, 물리적 상호 작용이 필요한 경우가 많은 노트북 펌웨어의 한계를 우회합니다.
  • 열 제어: 맞춤형 홀더를 배치하여 핫스팟에서 열을 흡수하고 공기 흐름을 관리하여 소비자 장치를 적층할 때 흔한 과열 문제를 방지합니다.
  • 케이블 관리: 노트북당 4개의 케이블(전원, KVM, 이더넷, 비디오)로 인해 밀도가 주요 과제입니다. 팀은 HDMI 케이블이 가장 신뢰할 수 없는 구성 요소라는 점을 지적하며, 안정성을 보장하기 위해 특정 고내구성 케이블을 조달했습니다.
  • 운영상의 장애물: 팀은 FileVault와 같은 macOS 기능에서 예기치 않은 재부팅 중 잠길 수 있는 예상치 못한 문제를 겪었습니다. 그들은 디스크 잠금 해제를 관리하기 위해 fdesetup authrestart를 사용하고, 네트워크 인터페이스 재설정 및 시스템 구성을 처리하기 위한 자동화된 워크플로우를 개발했습니다.

가상화 및 스토리지 아키텍처

Namespace는 Apple의 공식 Virtualization 프레임워크를 활용하여 격리된 macOS 인스턴스를 제공합니다. 그러나 이 아키텍처는 엄격한 제한을 부과하며, 특히 물리적 호스트당 macOS VM 2개로 제한됩니다. 효율성을 극대화하기 위해 팀은 관리 오버헤드를 위한 코어를 예약하고 맞춤형 네트워킹을 구현하여 이러한 리소스를 관리합니다.

네트워크 및 이미지 배포

Namespace는 신뢰할 수 없는 코드에 대해 엄격한 보안 정책을 시행하기 때문에, 표준 NAT/브리지 네트워킹을 우회하고 Google의 gVisor 기반 사용자 공간 TCP/IP 스택을 사용합니다. 이를 통해 세분화된 방화벽 및 트래픽 관리를 가능하게 하며, Virtualization 프레임워크에 필요한 IPC 오버헤드에도 불구하고 최대 4Gbps의 업스트림 대역폭을 달성합니다.

인스턴스당 500GB에 달할 수 있는 VM 이미지의 대규모를 관리하기 위해 팀은 맞춤형 스토리지 및 배포 시스템을 개발했습니다:

  • 스파스 이미지 처리: 그들은 디스크 이미지의 '스파스성'을 보존하는 형식을 사용하여 할당되지 않은 공간이 레지스트리 스토리지를 소비하지 않도록 합니다.
  • 계층형 스토리지: APFS 및 clonefile 시스템 호출을 사용하여 이미지가 기본 레이어를 공유하므로 여러 버전의 macOS 및 Xcode에 대한 스토리지 공간을 크게 줄입니다.
  • 피어 투 피어 배포: 네트워크를 포화시키지 않기 위해 이미지는 피어 투 피어 방식으로 플릿 전체에 배포되어 노드가 중앙 레지스트리에만 의존하지 않고 가까운 피어에서 데이터를 가져올 수 있습니다.

커뮤니티 관점 및 통찰력

배포에 관한 논의는 엔지니어링 성과에 대한 찬사와 Apple 생태계 제약에 대한 좌절감을 모두 강조했습니다. 댓글 작성자들은 이러한 복잡한 해결 방법의 필요성이 Apple의 서버급 하드웨어 부족과 제한적인 가상화 정책에서 비롯된다고 지적했습니다.

  • 경제적 타당성: 일부 사용자는 Mac 인스턴스 임대와 하드웨어 구매의 비용 효율성에 의문을 제기하며, 소규모 팀의 경우 Mac Mini 구매의 손익분기점이 종종 1년 미만이라고 언급했습니다.
  • 안전 우려: 반복적인 논의 포인트는 데이터센터 환경에서 리튬 이온 배터리의 밀도였으며, 일부 관찰자들은 수백 대의 노트북을 적층하는 것의 화재 안전 영향에 대한 우려를 표명했습니다.
  • 업계 맥락: 업계 베테랑들은 MacStadium이 이 분야를 개척했지만, 탄력적이고 고밀도의 Mac CI/CD에 대한 현재 수요는 AWS와 같은 주요 클라우드 제공업체가 충분히 서비스하지 못하고 있으며, 이들은 종종 가용성 문제와 제한적인 라이선스 모델로 어려움을 겪고 있다고 지적했습니다.

요약

Namespace는 iOS 개발을 위한 확장 가능한 macOS 가상화를 제공하기 위해 데이터센터에 수백 대의 MacBook을 배포하는 데 필요한 기술적 과제와 인프라 설계를 설명합니다.

제목

모든 규모에서의 Namespace Mac: 소비자 하드웨어로 데이터센터 인프라 구축하기

Sources