Darkbloom (d‑inference)

무엇인가요 – Darkbloom은 공개 알파 단계의 분산형 추론 서비스로, Apple Silicon Mac 사용자가 자신의 비활성 GPU/CPU 자원을 OpenAI와 호환되는 백엔드로 임대할 수 있게 해줍니다. 소비자는 일반적인 OpenAI 또는 Anthropic 요청 형식으로 단일 HTTPS 엔드포인트(https://api.darkbloom.dev/v1)를 호출하며, 요청은 Apple의 MLX 라이브러리를 통해 모델을 프로세스 내부에서 실행하는 제공자 Mac으로 라우팅됩니다.

핵심 아이디어

아이디어	Darkbloom의 구현 방식
분산형 컴퓨팅	M1-M2-Ultra 등 Mac은 외부로 WebSocket을 통해 연결되는 고도로 보안된 Swift CLI(`darkbloom`)를 실행하며, GCP Confidential VM(AMD-SEV)에서 실행되는 Go 기반 조정자와 통신합니다.
프라이버시 설계	• 모든 요청에 대해 NaCl Box(X25519 + XSalsa20-Poly1305)를 사용한 엔드투엔드 암호화. • 제공자 프로세스는 하드ened Runtime, SIP, `PT_DENY_ATTACH`로 보호되어, 시스템 소유자가 디버거를 연결하거나 메모리를 읽을 수 없습니다. • 유일한 평문 노출은 조정자의 하드웨어 암호화된 VM 메모리 내부이며, 이는 로깅되거나 영구 저장되지 않습니다.
하드웨어 인증	네 가지 계층의 체인: 보안 엔클레이브 서명된 인증 블롭 → MDM 교차 확인 → Apple Managed Device Attestation(MDA) → APNs 코드-정체성 서명. 제공자의 공개 키는 보안 엔클레이브에 바인딩되며, 조정자는 5분마다 이를 검증합니다.
OpenAI 호환 API	모든 표준 엔드포인트(`/v1/chat/completions`, `/v1/completions`, `/v1/messages` 등)는 변경 없이 작동하며, 기존 URL만 변경됩니다. 스트리밍(SSE), 툴 호출, 비전, 지속적 배치가 지원됩니다.
자기 라우팅 / 직접 모드	제공자 노드를 소유한 경우, 요청을 자신의 머신으로 무료로 라우팅할 수 있습니다(`X-Darkbloom-Route: self`) 또는 조정자를 완전히 우회하는 로컬 OpenAI 호환 서버를 실행할 수 있습니다(`darkbloom start --local`).

아키텍처 개요

flowchart LR
    U[소비자 (SDK / curl / UI)] -->|HTTPS| CO[조정자 (Go, GCP Confidential VM)]
    CO -->|WebSocket + NaCl Box| P[제공자 (macOS의 Swift CLI)]
    P -->|Metal GPU via MLX| GPU[Apple Silicon GPU]
    P -.->|암호화된 SSE| CO
    CO -.->|스트리밍 응답| U

조정자 – 인증, 청구, 제공자 선택, 페이로드 재암호화, SSE 청크 전달
제공자 – mlx-swift-lm으로 모델을 로드하고, 디바이스 내에서 추론을 실행하며, OS 사용자에게 평문을 노출하지 않습니다.
모델 – 중앙에서 저장(https://models.darkbloom.ai), 각 제공자가 다운로드하고 SHA-256으로 검증합니다. 모델 별칭(e.g. gemma-4-26b)은 요청 시점에 해석됩니다.

시작하기 (소비자)

from openai import OpenAI
client = OpenAI(base_url="https://api.darkbloom.dev/v1", api_key="sk-db-…")
stream = client.chat.completions.create(
    model="gemma-4-26b",
    messages=[{"role": "user", "content": "Hello, Darkbloom!"}],
    stream=True,
)
for chunk in stream:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="")

또는 curl로:

curl https://api.darkbloom.dev/v1/chat/completions \
  -H "Authorization: Bearer sk-db-..." \
  -H "Content-Type: application/json" \
  -d '{"model":"gemma-4-26b","messages":[{"role":"user","content":"Hello!"}],"stream":true}'

모든 표준 OpenAI SDK는 기존 URL을 https://api.darkbloom.dev/v1로 교체하면 작동합니다.

제공자 실행하기 (수익)

사전 조건 – Apple Silicon(M1+), macOS 14+, ≥8GB RAM, 50GB 이상 여유 디스크 공간, 외부 HTTPS 연결
설치 – 한 줄 명령어:
```
curl -fsSL https://api.darkbloom.dev/install.sh | bash
```
스크립트는 서명을 검증하고, 보안 엔클레이브 헬퍼를 구성하며, 인증을 위해 MDM 프로파일을 선택적으로 설치합니다.

데몬 시작

darkbloom start               # 백그라운드 launchd 서비스
darkbloom login              # 계정 연결을 위한 디바이스 코드 흐름
darkbloom status             # 하드웨어, 신뢰 수준, 수익 확인

모델 관리 – darkbloom models download gemma-4-26b, darkbloom models list, darkbloom models remove ….
수익 – 웹 콘솔(https://console.darkbloom.dev)에서 확인 가능합니다. 자신의 노드로 라우팅된 요청은 무료이며, 그 외 트래픽은 아래의 토큰당 가격 기준을 따릅니다.

가격 정책 (공개 API)

토큰 유형	기본 가격
입력	$0.05 / 1M 토큰
출력	$0.20 / 1M 토큰
요청당 최소 청구액	$0.0001
플랫폼 수수료	`docs/architecture/billing.md#invariants`에 정의됨

가격은 모델별로 달라질 수 있으며, 개별 제공자가 재정의할 수 있습니다. 실시간 가격 목록은 항상 GET /v1/pricing에서 확인 가능합니다.

보안 및 프라이버시 요약

영구 관찰 표면 없음 – 추론은 암호화된 페이로드를 수신하는 동일한 프로세스 내에서 실행되며, 서브프로세스, 로컬 서버, IPC가 없습니다.
커널 수준 디버거 거부 – PT_DENY_ATTACH로 외부 디버거의 연결을 차단합니다.
하드ened Runtime 및 SIP – 메모리 읽기 API를 차단하며, 재부팅 없이 보호 기능을 제거할 수 없습니다.
엔드투엔드 암호화 – NaCl Box로 요청을 제공자의 인증된 키에 암호화하고, 응답 청크는 조정자로 다시 암호화됩니다.
인증 체인 – 보안 엔클레이브 서명 → MDM → Apple Managed Device Attestation → APNs 코드-정체성, 조정자가 바이너리가 진짜이고 수정되지 않았음을 확신할 수 있게 합니다.
위협 모델 – 평문을 볼 수 있는 유일한 공격자는 메모리 칩을 탈착하고 탐지할 수 있는 물리적 공격자뿐이며, 모든 소프트웨어 수준 공격은 완화됩니다.

성숙도 및 라이선스

상태 – 공개 알파. 파괴적인 변경, 가끔의 다운타임, 빈번한 업데이트를 기대하세요.
리포지토리 구조 –
- coordinator/ (Go) – 제어 평면, 라우팅, 청구, 인증
- provider-swift/ (Swift) – Mac에서 실행되는 하드ened CLI
- console-ui/, admin-ui/ – Next.js 대시보드
- docs/ – 광범위한 설계, 보안, 운영 문서
라이선스 – README는 표준 오픈소스 라이선스를 참조하지만(리포지토리의 LICENSE 참조), 서비스는 "그대로 제공"되며, 제공자 소프트웨어는 Apple 개발자 프로그램 약관의 대상이 될 수 있음을 명시합니다.

누구에게 적합한가요?

중앙 집중형 클라우드 비용을 피하고 싶은 개발자
상용 하드웨어에서 프라이버시 보장 추론을 위한 테스트 베드를 찾는 연구자
데이터를 보호하면서 비활성 GPU 자원을 수익화하고 싶은 Mac 사용자
자체 GPU 풀이 없이 사내 추론을 원하는 기업 – 대신 풀링된 Mac 네트워크를 활용할 수 있습니다.

빠른 링크 (리포지토리에서)

문서 – docs/consumer/quickstart.md, docs/provider/installation.md, docs/architecture/security/encryption.md
API 참조 – docs/reference/api-contracts.md
청구 불변성 – docs/architecture/billing.md#invariants
제공자 CLI 참조 – docs/provider/cli-reference.md
자기 라우팅 가이드 – docs/provider/self-route.md
직접 모드 가이드 – docs/provider/direct-mode.md

Darkbloom은 막대한 비활성 Apple Silicon Mac 풀을 프라이버시 보장, OpenAI 호환 추론 클라우드로 전환하려는 진정한 오픈소스 시도입니다. 하드웨어 인증, 엔드투엔드 암호화, 하드ened macOS 프로세스에 기반한 설계로, 분산형 AI 컴퓨팅의 주목할 만한 사례입니다.

Layr-Labs/d-inference