autonomous-ai/Personal-AI-Computer

Open-source AI computer designs, from desktop workstations to 8-GPU servers.

个人 AI 电脑 – DIY 高性能 AI 工作站

它是什么

一个 personal-ai-computer 是开源的 DIY 硬件指南,用于构建可运行大型语言模型的桌面级(或机架式)机器。本仓库包含 CAD 文件、物料清单、组装照片、BIOS 调优步骤与接线图,涵盖从单人使用的“2 × RTX 5090”机箱到企业级“8 × RTX 5090”机架的多种配置。

为何重要

  • 本地推理 – 拥有硬件意味着模型权重保留在本地,避免 API 费用、基于用量的计费以及供应商中断服务的风险。
  • 数据隐私 – 所有提示词(prompts)都保留在您自己的磁盘上,因此专有或机密数据永远不会离开组织。
  • 开放技术栈 – 硬件设计采用 MIT 授权;软件端可以是任何开源推理引擎(vLLM, Ollama, llama.cpp)或提供的 Grid 编排器,将多台机器链接成私有 AI 网络。

核心组件(硬件)

构建 GPU CPU 内存 电源 尺寸
2 × RTX 5090 2 × RTX 5090 (64 GB VRAM 总计) Intel Xeon W5 (ASUS W790 ACE) 96 GB DDR5 1 600 W PSU 12.5×12.5×16 英寸
2 × RTX PRO 6000 2 × RTX PRO 6000 (192 GB VRAM 总计, ECC) Intel Xeon W5 96 GB DDR5 1 600 W PSU 12.5×12.5×16 英寸
4 × RTX 5090 4 × RTX 5090 (128 GB VRAM) AMD Threadripper Pro 96 GB DDR5 4 000 W PSU 20×20×24 英寸
4 × RTX PRO 6000 4 × RTX PRO 6000 (384 GB VRAM, ECC) Intel Xeon w5-3423 192 GB DDR5 ECC 4 000 W PSU 19.8×19.8×24.2 英寸
8 × RTX 5090 8 × RTX 5090 (256 GB VRAM) 2 × AMD EPYC 9004 (Genoa) 192 GB DDR5 8 000 W PSU (5U 机架) 机架式

所有构建均使用 PCIe Gen 5 ×16 插槽、高速以太网 (10 GbE / 2.5 GbE) 以及模块化开放式框架机箱,并附有完整的照片与 CAD 文件。

软件工作流程

  1. BIOS 与 GPU 验证 – setup.md 将引导您启用多 GPU 支持、安装 NVIDIA 驱动程序并对每张卡进行压力测试。
  2. 模型服务 – 建议的入口点是 Grid 编排器 (curl … | bash)。Grid 会自动检测 GPU、启动推理服务器(vLLM, Ollama 等),并可将多台 Personal-AI-Computers 联合组成私有集群。
  3. 任何本地引擎 – 如果您愿意,也可以直接使用 vLLM、Ollama 或 llama.cpp 运行模型。

适用对象

  • 研究人员与爱好者:想要一个实操平台来实验量化或全精度 LLM,且无需支付云端费用。
  • 初创公司 / 中小企业:需要将专有数据保留在内部,同时又能访问现代 GPU 运算能力。
  • 企业:寻找组装本地 AI 服务器的蓝图,这些服务器可从单一机箱扩展到八个 GPU 的机架。

开始使用

  1. 选择一个构建文件夹(例如 2x-5090/)。
  2. 依照零件清单与 CAD 文件采购组件并制作支架。
  3. 组装机箱、安装 CPU/RAM,并将 GPU 安装在 PCIe 转接线上。
  4. 执行 setup.md 中的 BIOS 调优脚本。
  5. 安装 Grid(或您偏好的推理引擎)并开始提供模型服务。

社区与贡献

本仓库鼓励用户通过 Pull Request 或“share-your-build”Issue 模板提交自己的修改、替代组件或性能调整。值得注意的社区构建将在 README 中标注。


授权:MIT – 您可以分叉、修改甚至销售您自己的版本。

相关

  • 项目
  • 项目
  • 项目
  • 项目