cobanov/PS5LM

해결하는 문제

PS5LM은 탈옥된 PlayStation 5를 대규모 언어 모델(LLM) 및 의사결정 모델을 실행하기 위한 개인용 로컬 서버로 변환합니다. 사용자는 PC나 클라우드 서비스의 AI 추론 작업을 콘솔의 GPU로 오프로드할 수 있으며, 동일한 네트워크 내의 다른 장치에서 액세스할 수 있는 AI 작업 전용 하드웨어 리소스를 제공합니다.

작동 방식

이 프로젝트는 Vulkan 백엔드가 포함된 llama.cpp를 활용하여 PS5의 RDNA 2 GPU에서 GGUF 형식의 모델을 직접 실행합니다. OpenAI 및 Anthropic 표준과 호환되는 로컬 API 서버를 제공하여 노트북이나 코딩 도구와 같은 외부 장치에서 콘솔로 요청을 보낼 수 있습니다. 이 앱에는 모델 다운로드 관리, 하드웨어 성능(온도, 전력, 부하) 모니터링, 컨트롤러를 통한 모델과의 직접 상호 작용을 위한 TV용 그래픽 인터페이스가 포함되어 있습니다.

대상 사용자

이 프로젝트는 클라우드 계정, 외부 PC 또는 인터넷 연결에 의존하지 않고 로컬에서 개인 AI 모델을 실행하려는 탈옥된 PS5(펌웨어 7.00 ~ 13.60) 사용자들을 위한 것입니다.

주요 특징

• Vulkan 백엔드를 사용하여 PS5 GPU에서 모델을 직접 실행합니다.
• 외부 도구와의 통합을 위해 OpenAI 및 Anthropic 호환 API 엔드포인트를 제공합니다.
• 유형화된 고속 추론 작업을 위한 의사결정 모델을 지원합니다.
• 시스템 성능 모니터링 및 모델 저장소 관리를 위한 온스크린 대시보드가 포함되어 있습니다.
• 멀티모달 모델을 위한 이미지-텍스트 변환 기능을 활성화합니다.