kennss/SiliconScope

해결하는 문제

SiliconScope는 Apple Silicon Mac을 위한 시스템 모니터로, 활동 모니터와 같은 표준 도구가 제공할 수 없는 심층적인 하드웨어 메트릭을 표시합니다. 신경망 엔진(ANE), 미디어 엔진 및 메모리 대역폭에 대한 실시간 가시성을 제공하여 기기 내 AI 및 미디어 워크로드를 다루는 개발자의 요구를 구체적으로 충족합니다. 이는 로컬 LLM 및 AI 모델의 주요 병목 현상입니다.

작동 방식

이 앱은 네이티브 SwiftUI 대시보드 및 메뉴 바 모음입니다. root(sudo) 권한 없이 퍼블릭 및 프라이빗 Apple API를 조합하여 하드웨어 데이터에 액세스합니다:

• IOReport Framework: 도메인별 전력(CPU, GPU, ANE, DRAM), 클러스터 상주율 및 메모리 대역폭을 추출하는 데 사용됩니다.
• SMC & HID: 세대별로 엄선된 SMC FourCC 키 및 HID 센서 세트 맵을 사용하여 E-코어, P-코어, GPU 및 메모리의 정확한 단위별 온도를 제공합니다.
• Process Inspector: proc_pid_rusage를 활용하여 프로세스별 전력, IPC, 특히 신경망 엔진 메모리 사용량을 보여줍니다.
• Fleet Management: 다른 Mac이나 Linux/NVIDIA 머신에 원격 에이전트를 설치하여 TLS 암호화 연결을 통해 메트릭(원격 Mac의 ANE 포함)을 중앙 대시보드로 스트리밍할 수 있습니다.

대상 독자

• AI 개발자: 로컬 LLM 또는 CoreML 모델을 실행하며 워크로드가 컴퓨트 바운드인지, 대역폭 바운드인지, 아니면 열적 스로틀링을 받는지 알아야 하는 사용자.
• 파워 유저: 하드웨어에 대한 깊은 인사이트를 제공하는 자세하고 iStat 스타일의 메뉴 바 모니터를 원하는 Mac 사용자.
• Headless Mac/Linux 관리자: 여러 대의 머신을 관리하며 GPU 및 AI 가속기 활용도를 단일 화면으로 보고 싶은 사용자.

주요 기능

• ANE 및 미디어 엔진 추적: Apple의 AI 및 미디어 가속기에 대한 실시간 전력 및 대역폭 모니터링.
• Process Inspector: sudo 불필요 프로세스별 메트릭으로 P/E 코어 분할, IPC 및 신경망 엔진 메모리 사용량 포함.
• Record & Replay: DVR과 같은 기능으로 시스템 메트릭을 .ssrec 파일에 기록하여 나중에 분석 및 스크러빙할 수 있습니다.
• AI 워크로드 분류기: 시스템이 대역폭 바운드인지, 컴퓨트 바운드인지, 열적 스로틀링을 받는지 자동으로 식별합니다.
• Fleet 지원: 다른 Mac(ANE 포함) 및 Linux/NVIDIA 머신(VRAM 및 Ollama 모델 표시)에 대한 원격 모니터링.
• 메뉴 바 모음: 모든 주요 시스템 메트릭에 대해 고도로 사용자 정의 가능한 iStat 스타일의 글리프 및 드롭다운 제공.