abhi245y/PS5LM-Plus

해결하는 문제

PS5LM Plus는 탈옥된 PlayStation 5에서 네이티브 GPU를 사용하여 대규모 언어 모델(LLM)을 직접 실행할 수 있게 합니다. 추론을 CPU에서 GPU로 이동함으로써 상당한 성능 향상을 달성하여 Qwen 27B와 같은 모델을 (초당 20토큰 이상) 사용 가능한 속도로 실행할 수 있습니다. 기존 CPU 전용 구현의 극도로 느린 성능과 대조적입니다.

작동 방식

llama.cpp 추론 엔진을 PS5에 네이티브 애플리케이션으로 포팅합니다. 콘솔의 Vulkan 기반 RADV 드라이버를 활용하여 GPU의 12GiB 통합 메모리를 사용합니다. 앱에는 하드웨어 메트릭(온도, 팬 속도, 전력 사용량)을 모니터링하는 대시보드, GGUF 파일을 관리하는 모델 라이브러리, 그리고 로컬 네트워크의 다른 기기에서 접근 가능한 OpenAI 호환 API와 채팅 인터페이스를 제공하는 내장 웹 서버가 포함되어 있습니다.

대상 사용자

이 프로젝트는 탈옥된 PlayStation 5를 보유하고 콘솔 하드웨어에서 로컬 LLM 실행을 시도하려는 사용자를 위한 것입니다. kstuff-lite 및 etaHEN과 같은 특정 페이로드가 필요하므로 홈브루 환경에 익숙한 사용자를 위해 설계되었습니다.

주요 기능

• GPU 가속: Vulkan을 통해 PS5 GPU를 사용하여 고성능 추론을 구현합니다.
• OpenAI 호환 API: Aider, Claude Code 및 다양한 CLI 클라이언트와 같은 외부 도구와의 통합을 허용합니다.
• 통합 대시보드: 시스템 열 상태, 전력 소비, 메모리 사용량의 실시간 모니터링을 제공합니다.
• 모델 관리: 모델 호환성과 메모리 요구 사항을 확인하는 내장 다운로더 및 라이브러리 관리자를 포함합니다.
• 유연한 배포: 내부 저장소, M.2 확장 또는 USB 드라이브에서 모델 로드를 지원합니다.