autonomous-ai/Personal-AI-Computer

Open-source AI computer designs, from desktop workstations to 8-GPU servers.

パーソナルAIコンピュータ – DIY高性能AIワークステーション

概要

personal-ai-computer は、大規模言語モデルをローカルで実行できるデスクトップサイズ(またはラックマウント)の機械を構築するためのオープンソースのDIYハードウェアガイドです。このリポジトリには、シングルユーザー向けの「2 × RTX 5090」ボックスから、エンタープライズグレードの「8 × RTX 5090」ラックまで、さまざまな構成に対応するCADファイル、部品表、組み立て写真、BIOSチューニング手順、配線図が含まれています。

なぜ重要なのか

  • ローカル推論 – ハードウェアを所有することでモデルの重みをオンプレミスに保持でき、APIコストや従量課金、プロバイダーによるサービス停止のリスクを回避できます。
  • データプライバシー – すべてのプロンプトが自身のディスク内に留まるため、機密データが組織外に流出することはありません。
  • オープンスタック – ハードウェア設計はMITライセンスです。ソフトウェア側は、任意のオープンソース推論エンジン(vLLM, Ollama, llama.cpp)や、複数のマシンをプライベートAIネットワークにリンクする提供済みの Grid オーケストレーターを使用できます。

主要コンポーネント(ハードウェア)

ビルド GPU CPU メモリ 電源 サイズ
2 × RTX 5090 2 × RTX 5090 (合計 64 GB VRAM) Intel Xeon W5 (ASUS W790 ACE) 96 GB DDR5 1 600 W PSU 12.5×12.5×16 インチ
2 × RTX PRO 6000 2 × RTX PRO 6000 (合計 192 GB VRAM, ECC) Intel Xeon W5 96 GB DDR5 1 600 W PSU 12.5×12.5×16 インチ
4 × RTX 5090 4 × RTX 5090 (128 GB VRAM) AMD Threadripper Pro 96 GB DDR5 4 000 W PSU 20×20×24 インチ
4 × RTX PRO 6000 4 × RTX PRO 6000 (384 GB VRAM, ECC) Intel Xeon w5-3423 192 GB DDR5 ECC 4 000 W PSU 19.8×19.8×24.2 インチ
8 × RTX 5090 8 × RTX 5090 (256 GB VRAM) 2 × AMD EPYC 9004 (Genoa) 192 GB DDR5 8 000 W PSU (5U ラック) ラックマウント

すべてのビルドは、PCIe Gen 5 ×16 スロット、高速イーサネット (10 GbE / 2.5 GbE)、および写真とCADで完全に文書化されたモジュール式のオープンフレームシャーシを使用しています。

ソフトウェアワークフロー

  1. BIOS & GPU 検証 – setup.md に従って、マルチGPUサポートの有効化、NVIDIAドライバーのインストール、各カードのストレステストを行います。
  2. モデルサービング – 推奨されるエントリーポイントは Grid オーケストレーター (curl … | bash) です。GridはGPUを検出し、推論サーバー(vLLM, Ollamaなど)を起動し、複数のPersonal-AI-Computersをプライベートクラスターに統合できます。
  3. 任意のローカルエンジン – 必要に応じて、vLLM、Ollama、または llama.cpp を使用してモデルを直接実行することも可能です。

対象ユーザー

  • 研究者・ホビイスト:クラウド料金を支払うことなく、量子化またはフル精度のLLMを実験するための実践的なプラットフォームを求める方。
  • スタートアップ / 中小企業:最新のGPUの計算能力を活用しながら、機密データを社内に保持する必要がある組織。
  • エンタープライズ:単一のボックスから8基のGPUラックまで拡張可能な、オンプレミスAIサーバー構築の設計図を求める企業。

はじめ方

  1. ビルドフォルダを選択します(例: 2x-5090/)。
  2. 部品リストとCADファイルに従ってコンポーネントを調達し、ブラケットを製作します。
  3. シャーシを組み立て、CPU/RAMを取り付け、PCIeライザーにGPUをマウントします。
  4. setup.md からBIOSチューニングスクリプトを実行します。
  5. Grid(または好みの推論エンジン)をインストールして、モデルの提供を開始します。

コミュニティと貢献

このリポジトリでは、プルリクエストや「share-your-build」Issueテンプレートを通じて、独自の修正、代替コンポーネント、パフォーマンス調整の投稿を推奨しています。注目すべきコミュニティビルドはREADMEで紹介されます。


ライセンス: MIT – フォーク、修正、および独自のバージョンの販売が可能です。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト