autonomous-ai/autonomous-computer

autonomous‑ai / autonomous‑computer

무엇인가요 – 로컬에서 AI 모델을 실행할 수 있는 '개인용 AI 컴퓨터'를 구축하기 위한 상세한 설계도, 부품 목록, CAD 파일, BIOS 설정, 조립 지침을 제공하는 오픈소스 하드웨어 프로젝트입니다. 리포지토리에는 4가지 참조 구성(2 × RTX 5090, 2 × RTX PRO 6000, 4 × RTX 5090, 4 × RTX PRO 6000, 더 큰 8GPU 구성 포함)이 함께 제공되며, 단계별 사진과 짧은 소프트웨어 설정 가이드도 포함되어 있습니다.

왜 중요한가요 – 저자들은 2026년까지 대부분의 AI 추론이 소수의 기업이 소유한 클라우드 API에서 실행될 것이라고 주장합니다. 자신의 컴퓨터에서 모델을 로컬로 실행하면 다음과 같은 이점이 있습니다:

1. 제어권 – 모델 가중치를 온프레미스에 유지하므로 외부 당사자가 서비스를 중단할 수 없습니다.
2. 프라이버시 – 프롬프트가 네트워크 밖으로 나가지 않아 기업의 기밀 데이터가 보호됩니다.
3. 비용 절감 – 하드웨어를 구매한 후에는 토큰당 API 요금이 발생하지 않습니다.

주요 하드웨어 사양 (각 구성별):

• GPU: NVIDIA RTX 5090 또는 RTX PRO 6000 (Blackwell) – 최대 8개 GPU, 총 256GB VRAM.
• CPU: Intel Xeon W5 또는 AMD Threadripper Pro / EPYC 9004, 96–192GB RAM, 1–2TB NVMe.
• PCIe: 각 GPU용 Gen 5 ×16 슬롯, 10 GbE 네트워킹, 선택적 BMC.
• 전력: 1.5–5 kW 소비, 적절한 용량의 PSU 필요.
• 형태: 2–4GPU용 데스크형 오픈프레임, 8GPU 구성용 5U 랙.

소프트웨어 측면 – 하드웨어에 종속되지 않습니다. 리포지토리는 로컬 AI 네트워크로 머신을 통합하기 위한 오픈소스 Grid 오케스트레이터(autonomous‑grid)를 추천하지만, vLLM, Ollama, llama.cpp 등 어떤 로컬 추론 엔진도 사용 가능합니다.

시작 방법

1. 구성 선택 (예: 2x-5090/README.md).
2. 부품 목록과 CAD 파일을 따라 부품을 조달하고 브래킷을 제작합니다.
3. 프레임 조립, GPU 장착, 전원 및 네트워크 연결.
4. 제공된 BIOS 튜닝 스크립트(setup.md)를 실행하여 멀티GPU PCIe 레인 활성화 및 NVIDIA 드라이버 설치.
5. Grid(또는 선호하는 엔진) 설치 및 양자화된/오픈 모델 로드.

커뮤니티 및 기여 – 사용자는 개선안, 대체 부품, 또는 자체 구성을 이슈 템플릿을 통해 제출할 수 있습니다. 최고의 커뮤니티 구성을 리포지토리에서 소개합니다.

라이선스 – MIT. 누구나 포크하여 수정, 제작, 파생 제품 판매도 가능합니다.

---

이 요약은 리포지토리의 README만을 기반으로 작성되었습니다.