cobanov/PS5LM

解决的问题

PS5LM 将越狱后的 PlayStation 5 转变为一个私有的本地服务器，用于运行大语言模型 (LLM) 和决策模型。它允许用户将 AI 推理任务从 PC 或云服务卸载到主机的 GPU 上，从而为 AI 任务提供专用的硬件资源，并可供同一网络中的其他设备访问。

工作原理

该项目利用带有 Vulkan 后端的 llama.cpp 直接在 PS5 的 RDNA 2 GPU 上运行 GGUF 格式的模型。它提供了一个本地 API 服务器（兼容 OpenAI 和 Anthropic 标准），允许笔记本电脑或编程工具等外部设备向主机发送请求。该应用程序包含一个电视图形界面，用于管理模型下载、监控硬件性能（温度、功耗、负载）以及直接通过手柄与模型交互。

适用人群

本项目适用于拥有越狱 PS5（固件版本 7.00 至 13.60）且希望在本地运行私有 AI 模型，而不依赖云账户、外部 PC 或互联网连接的用户。

主要亮点

• 使用 Vulkan 后端直接在 PS5 GPU 上运行模型。
• 提供兼容 OpenAI 和 Anthropic 的 API 端点，以便与外部工具集成。
• 支持用于类型化、高速推理任务的决策模型。
• 包含用于监控系统性能和管理模型存储的屏幕仪表板。
• 支持多模态模型的图文转换功能。