autonomous-ai/Personal-AI-Computer

Open-source AI computer designs, from desktop workstations to 8-GPU servers.

개인용 AI 컴퓨터 – DIY 고성능 AI 워크스테이션

개요

personal-ai-computer는 대규모 언어 모델을 로컬에서 실행할 수 있는 데스크탑 크기(또는 랙 마운트)의 기계를 구축하기 위한 오픈 소스 DIY 하드웨어 가이드입니다. 이 저장소에는 1인용 "2 × RTX 5090" 박스부터 엔터프라이즈급 "8 × RTX 5090" 랙까지 다양한 구성을 위한 CAD 파일, 부품 명세서, 조립 사진, BIOS 튜닝 단계 및 배선도가 포함되어 있습니다.

중요성

  • 로컬 추론 – 하드웨어를 직접 소유함으로써 모델 가중치를 온프레미스에 유지할 수 있으며, API 비용, 사용량 기반 요금 청구 및 공급업체의 서비스 중단 위험을 방지합니다.
  • 데이터 프라이버시 – 모든 프롬프트가 자신의 디스크에 저장되므로 독점적이거나 기밀인 데이터가 조직 외부로 유출되지 않습니다.
  • 오픈 스택 – 하드웨어 설계는 MIT 라이선스를 따릅니다. 소프트웨어 측면에서는 모든 오픈 소스 추론 엔진(vLLM, Ollama, llama.cpp)을 사용하거나, 여러 대의 기기를 사설 AI 네트워크로 연결하는 Grid 오케스트레이터를 사용할 수 있습니다.

핵심 구성 요소(하드웨어)

빌드 GPU CPU 메모리 전원 크기
2 × RTX 5090 2 × RTX 5090 (총 64 GB VRAM) Intel Xeon W5 (ASUS W790 ACE) 96 GB DDR5 1 600 W PSU 12.5×12.5×16 인치
2 × RTX PRO 6000 2 × RTX PRO 6000 (총 192 GB VRAM, ECC) Intel Xeon W5 96 GB DDR5 1 600 W PSU 12.5×12.5×16 인치
4 × RTX 5090 4 × RTX 5090 (128 GB VRAM) AMD Threadripper Pro 96 GB DDR5 4 000 W PSU 20×20×24 인치
4 × RTX PRO 6000 4 × RTX PRO 6000 (384 GB VRAM, ECC) Intel Xeon w5-3423 192 GB DDR5 ECC 4 000 W PSU 19.8×19.8×24.2 인치
8 × RTX 5090 8 × RTX 5090 (256 GB VRAM) 2 × AMD EPYC 9004 (Genoa) 192 GB DDR5 8 000 W PSU (5U 랙) 랙 마운트

모든 빌드는 PCIe Gen 5 ×16 슬롯, 고속 이더넷(10 GbE / 2.5 GbE) 및 사진과 CAD로 완벽하게 문서화된 모듈식 오픈 프레임 섀시를 사용합니다.

소프트웨어 워크플로우

  1. BIOS 및 GPU 검증 – setup.md를 따라 멀티 GPU 지원 활성화, NVIDIA 드라이버 설치 및 각 카드에 대한 스트레스 테스트를 수행합니다.
  2. 모델 서빙 – 권장되는 시작점은 Grid 오케스트레이터(curl … | bash)입니다. Grid는 GPU를 감지하고 추론 서버(vLLM, Ollama 등)를 실행하며, 여러 대의 Personal-AI-Computers를 사설 클러스터로 통합할 수 있습니다.
  3. 로컬 엔진 사용 – 원할 경우 vLLM, Ollama 또는 llama.cpp를 사용하여 모델을 직접 실행할 수도 있습니다.

권장 대상

  • 연구원 및 애호가 – 클라우드 비용 없이 양자화 또는 전체 정밀도 LLM을 실험할 수 있는 실습 플랫폼을 원하는 분.
  • 스타트업 / 중소기업 – 최신 GPU의 컴퓨팅 성능을 활용하면서 독점 데이터를 사내에 안전하게 보관해야 하는 조직.
  • 엔터프라이즈 – 단일 박스에서 8개 GPU 랙까지 확장 가능한 온프레미스 AI 서버 구축 청사진을 찾는 기업.

시작하기

  1. 빌드 폴더를 선택합니다(예: 2x-5090/).
  2. 부품 목록과 CAD 파일을 따라 부품을 조달하고 브래킷을 제작합니다.
  3. 섀시를 조립하고 CPU/RAM을 설치한 후, PCIe 라이저에 GPU를 장착합니다.
  4. setup.md의 BIOS 튜닝 스크립트를 실행합니다.
  5. Grid(또는 선호하는 추론 엔진)를 설치하고 모델 서빙을 시작합니다.

커뮤니티 및 기여

이 저장소는 Pull Request나 "share-your-build" Issue 템플릿을 통해 사용자 고유의 수정 사항, 대체 부품 또는 성능 튜닝을 공유하는 것을 권장합니다. 주목할 만한 커뮤니티 빌드는 README에 소개됩니다.

라이선스: MIT – 포크, 수정 및 자체 버전 판매가 가능합니다.

관련

  • 프로젝트
    combust/mleap

    Spark 및 Scikit-learn에서 트레이닝 중에 사용하는 무거운 종속성 없이 머신러닝 파이프라인을 배포하기 위한 성능이 뛰어나고 이동 가능한 실행 엔진과 직렬화 형식

  • 프로젝트
    ucb-bar/gemmini

    구성 가능한 정맥 어레이 아키텍처를 사용하여 아키텍트가 AI 가속기의 설계 및 성능 평가를 수행할 수 있게 해주는 전체 시스템 DNN 하드웨어 탐색 플랫폼입니다.

  • 프로젝트
    ashhart/TensorFold

    Apple Silicon 및 NVIDIA GPU에서 언어 모델을 제공하는, Python이나 MLX가 필요 없는 네이티브 Zig 기반 추론 엔진입니다.

  • 프로젝트
    beehive-lab/TornadoVM

    TornadoVM은 Java 바이트코드를 CUDA, OpenCL 또는 Metal로 JIT 컴파일하는 오픈 소스 Java-to-GPU 런타임으로, 세 가지 Java API(@Parallel 루프, KernelContext, TileContext)와 NVIDIA 라이브러리(cuBLAS, cuFFT, cuDNN, cuDF) 및 Tensor-Core 내장 함수와의 네이티브 통합을 제공합니다. NVIDIA, AMD, Intel, Apple Silicon GPU 및 CPU에서 실행되며 SDKMAN!으로 설치할 수 있고 Apache 2.0/GPLv2(Classpath 예외)로 라이선스됩니다.