PS5LM: ジェイルブレイクされたPlayStation 5でネイティブGGUF言語モデルを実行する

概要

PS5LMは、ジェイルブレイクされたPlayStation 5を専用のプライベート言語モデルサーバーに変える自作プロジェクトです。llama.cppのVulkanバックエンドを介してコンソールのRDNA 2 GPUを活用することで、GGUF形式のモデルをネイティブに実行し、標準的なOpenAIおよびAnthropic互換APIを通じてネットワーク上の他のデバイスに提供できます。

技術的機能

ファームウェアバージョン7.00から13.60までのジェイルブレイクされたコンソールを持つユーザー向けに設計されたPS5LMは、モデルの重みとコンテキストのために約11.4 GBの共有メモリを利用します。このアプリケーションは、コンソールの熱、消費電力、GPU/CPU負荷のリアルタイム監視を含む、テレビ画面上の完全なインターフェースを提供します。

主な機能は以下の通りです：

• API互換性: /v1/chat/completionsおよび/v1/messagesエンドポイントを公開し、Claude Codeや標準的なブラウザベースのチャットインターフェースなどのツールとの統合を可能にします。
• 決定モデルのサポート: Ollayaエコシステムと統合して決定モデルを実行し、全文を生成することなく、状態ベースのクエリに対して型指定された確率調整済みの応答を可能にします。
• モデル管理: Hugging Faceモデル用の組み込みダウンローダーが含まれており、内蔵ドライブまたはUSB経由のローカルストレージをサポートしています。
• パフォーマンス: PS5 Slimでは、Qwen 3.5 9B (Q4_K_M) モデルで約55トークン/秒、27Bモデル (UD-Q2_K_XL) で約20トークン/秒のパフォーマンスを実現します。

コミュニティの視点とユースケース

リリースを取り巻くコミュニティの議論では、技術的な成果とハードウェアの実際的な制限の両方が強調されています。VRAMの制約により実用性が限られているため、このプロジェクトを「クールな成果」と見なすユーザーもいれば、長時間実行される低知能タスクの可能性を見出すユーザーもいます。

コミュニティから提案された潜在的なユースケースは以下の通りです：

• サーバーエラー率の監視。
• セキュリティ映像や環境データの分析。
• ホームオートメーション用の低コストで常時稼働する推論エンジンとしての利用。

このようなセットアップの実現可能性に関して、あるコメント投稿者は次のように述べています：

「余っているなら、決して悪いことではありません。2bitでもそれほどひどくはありません。フル量子化された27bの約80%の精度です... 長時間実行するタスクなら、今やPS5を割り当てるだけで済みます。」 — @handle

実装と要件

PS5LMを実行するには、ジェイルブレイクされたPS5が必要であり、カーネルパッチ用のkstuff-lite、自作ソフトサポート用のetaHEN、ホーム画面でアプリケーションを管理するためのShadowMountPlusなど、特定のペイロードをインストールする必要があります。このプロジェクトは、ggml-vulkanをサポートしたps5-homebrew-uiとllama.cppを使用して構築されています。

プロジェクトの性質上、一部のコミュニティメンバーはGitHubなどのプラットフォームでの長期的な可用性について懸念を表明しており、企業による削除を避けるために、開発者は分散型または独立したインフラストラクチャでのホスティングを検討すべきだと示唆しています。