akandr/bc250

해결하는 문제

AMD BC-250은 16GB 통합 메모리를 탑재한 희귀한 AMD APU(Cyan Skillfish)를 중심으로 구축된 잊혀진 암호화폐 채굴 보드입니다. 이 칩에 대한 소매 소프트웨어 지원은 거의 전무하며, 공식 ROCm 컴퓨팅은 작동하지 않고 유일하게 신뢰할 수 있는 GPU 경로는 Vulkan뿐입니다. 이 프로젝트는 버려진 보드를 대규모 언어 모델(최대 35B 파라미터 모델 포함)을 로컬에서 실행할 수 있는 유능한 헤드리스 AI 서버로 바꾸는 방법을 문서화합니다. Mixture-of-Experts 모델의 경우 초당 78.7 토큰의 속도를 냅니다. 또한 이 하드웨어에서 Vulkan 추론을 작동시키는 실질적인 문제를 해결하고, 더 큰 모델 로드를 방해하는 두 가지 커널 메모리 제한을 해제하며, GPU의 40개 컴퓨팅 유닛을 모두 잠금 해제합니다(공장 펌웨어는 24개만 노출). 그 외에도 완전 자율 가정용 AI 시스템을 위한 소프트웨어 스택과 벤치마크를 제공합니다. 여기에는 시각 및 오디오 기능이 있는 Signal 챗봇, 이미지 생성, 수백 개의 자동화된 작업을 실행하는 네트워크 스캐너, 커리어 인텔리전스 대시보드가 포함됩니다.

작동 원리

이 프로젝트는 포괄적인 가이드와 스크립트 세트입니다. 하드웨어는 BC-250 보드입니다. Zen 2 CPU(6코어), CPU와 GPU 간에 공유되는 16GB GDDR6 메모리를 갖춘 GFX1013 GPU(비공식적으로 "RDNA 1.5"라고 함), 메모리 구성을 잠금 해제하는 커뮤니티 패치 BIOS를 사용합니다. 소프트웨어 스택은 Mesa 25.3.4의 Vulkan 드라이버(RADV)와 추론을 위한 Ollama / llama.cpp를 사용합니다. 작성자는 커널 매개변수 ttm.pages_limit를 조정하여 GPU 메모리 제한을 약 7.4 GiB에서 전체 16 GiB로 높였으며, 이는 14B 이상의 모델을 실행하는 데 필요합니다. 커뮤니티 커널 패치가 40 CU를 잠금 해제하고, oberon 거버너가 GPU 클럭(최대 1500 MHz)을 제어합니다. 저장소에는 벤치마크 하네스, 자율 모니터링 시스템(netscan)을 실행하기 위한 스크립트 쌍(큐 러너를 통해 330개 작업 실행), 메시지를 적절한 모델(채팅, 시각, 오디오 전사)로 라우팅하는 Signal 봇, FLUX.2-klein-9B를 사용하는 이미지 생성 파이프라인이 포함되어 있습니다. 모든 내용은 정확한 버전, 문제 해결 단계 및 측정된 성능의 통계적 검증과 함께 문서화되어 있습니다.

대상 사용자

이 프로젝트는 AMD BC-250 보드(또는 유사한 희귀 AMD APU)를 소유하거나 구매할 계획이 있으며 클라우드에 의존하지 않고 로컬 LLM을 실행하려는 기술적 호기심이 많은 사용자를 위한 것입니다. 또한 추론 백엔드로서의 Vulkan에 관심이 있거나 통합 메모리와 제한된 소프트웨어 지원을 가진 하드웨어에서 LLM 성능을 최적화하는 데 관심이 있는 사람에게도 유용합니다. 문서는 Linux, 명령줄 및 기본 하드웨어 개념에 대한 실무 지식을 가정하지만, 양자화, 초당 토큰 수, 컨텍스트 창과 같은 LLM 용어를 설명하는 용어집이 포함되어 있습니다.

주요 특징

• 40-CU 잠금 해제: 커뮤니티 커널 패치가 마스킹된 16개의 컴퓨팅 유닛을 다시 활성화하여 11개 모델 전반에서 토큰 생성 속도가 중앙값 기준 1.32배, 프롬프트 처리 속도가 1.50배 향상되었습니다.
• Vulkan 전용 추론: ROCm 지원 부족 문제를 우회하여 40 CU에서 Qwen3.5 35B MoE 모델에 대해 78.7 tok/s, 하이브리드 Mamba 모델에 대해 129.2 tok/s의 속도를 달성했습니다.
• 긴 컨텍스트 처리: 메모리 튜닝과 40-CU 잠금 해제 덕분에 64K 컨텍스트를 채운 모델이 실행되며 모든 계층에서 니들 검색(needle-retrieval)에 성공합니다.
• MoE 통찰력: 스칼라 하드웨어에서 Mixture-of-Experts 모델은 활성 파라미터 수에 비례하여 디코딩되므로 동일한 양자화의 밀집 모델보다 약 6배의 속도 이점을 제공합니다.
• 완전 자율 스택: 시각 및 오디오 기능이 있는 Signal 챗봇, 이미지 생성기, 130페이지 대시보드가 포함된 330개 작업 네트워크 스캐너, 커리어 인텔리전스 스캐너가 포함되어 있습니다.
• 포괄적인 벤치마크: 생성 속도, 품질, 컨텍스트 스케일링, 콜드 스타트 타이밍, 양자화 영향에 걸쳐 31개 모델을 테스트했으며, 모든 테스트는 통계적 검증 및 루프라인 분석을 포함합니다.