abhi245y/PS5LM-Plus

解決する問題

PS5LM Plus は、ジェイルブレイクされた PlayStation 5 上で、ネイティブ GPU を使用して大規模言語モデル（LLM）を直接実行できるようにします。推論を CPU から GPU に移行することで、大幅なパフォーマンス向上を実現し、Qwen 27B などのモデルを（毎秒 20 トークン以上で）実用的な速度で実行できます。従来の CPU のみの実装では非常に遅かったのとは対照的です。

仕組み

llama.cpp 推論エンジンを PS5 にネイティブアプリケーションとして移植します。コンソールの Vulkan ベースの RADV ドライバを活用して、GPU の 12 GiB の統合メモリを使用します。アプリには、ハードウェアメトリクス（温度、ファン速度、消費電力）を監視するダッシュボード、GGUF ファイルを管理するモデルライブラリ、およびローカルネットワーク上の他のデバイスからアクセス可能な OpenAI 互換 API とチャットインターフェースを提供する内蔵 Web サーバーが含まれています。

対象読者

このプロジェクトは、ジェイルブレイクされた PlayStation 5 を持ち、コンソールハードウェアでローカル LLM の実行を試したいユーザー向けです。kstuff-lite や etaHEN などの特定のペイロードが必要なため、ホームブリュー環境に慣れている人向けに設計されています。

ハイライト

• GPU アクセラレーション： Vulkan を介して PS5 GPU を使用し、高性能な推論を実現。
• OpenAI 互換 API： Aider、Claude Code、さまざまな CLI クライアントなどの外部ツールとの統合を可能にします。
• 統合ダッシュボード： システムの温度、消費電力、メモリ使用量のリアルタイム監視を提供。
• モデル管理： モデルの互換性とメモリ要件をチェックする内蔵ダウンローダーとライブラリマネージャーが含まれています。
• 柔軟なデプロイ： 内部ストレージ、M.2 拡張、または USB ドライブからのモデルのロードをサポート。