abhi245y/PS5LM-Plus

解决的问题

PS5LM Plus 使得在越狱的 PlayStation 5 上直接使用其原生 GPU 运行大型语言模型（LLM）成为可能。通过将推理从 CPU 转移到 GPU，它实现了显著的性能提升，使得像 Qwen 27B 这样的模型能够以可用速度（每秒超过 20 个 token）运行，而之前仅使用 CPU 的实现速度极慢。

工作原理

它将 llama.cpp 推理引擎移植到 PS5 作为原生应用程序。它利用主机的基于 Vulkan 的 RADV 驱动来使用 GPU 的 12 GiB 统一内存。该应用包含一个用于监控硬件指标（温度、风扇速度、功耗）的仪表板、一个用于管理 GGUF 文件的模型库，以及一个内置的 Web 服务器，提供兼容 OpenAI 的 API 和可从本地网络上的其他设备访问的聊天界面。

适用人群

该项目面向拥有越狱 PlayStation 5 并希望在主机硬件上尝试运行本地 LLM 的用户。它专为熟悉自制环境的人设计，因为需要特定的负载（如 kstuff-lite 和 etaHEN）才能运行。

亮点

• GPU 加速： 通过 Vulkan 使用 PS5 GPU 进行高性能推理。
• 兼容 OpenAI 的 API： 允许与外部工具（如 Aider、Claude Code 和各种 CLI 客户端）集成。
• 集成仪表板： 提供系统热状态、功耗和内存使用的实时监控。
• 模型管理： 包含内置下载器和库管理器，可检查模型兼容性和内存要求。
• 灵活部署： 支持从内部存储、M.2 扩展或 USB 驱动器加载模型。