cobanov/PS5LM

解決する課題

PS5LMは、脱獄済みのPlayStation 5を、大規模言語モデル (LLM) や意思決定モデルを実行するためのプライベートなローカルサーバーに変えます。ユーザーはPCやクラウドサービスからAI推論をコンソールのGPUにオフロードでき、同じネットワーク上の他のデバイスからアクセス可能なAIタスク専用のハードウェアリソースを提供します。

仕組み

このプロジェクトは、Vulkanバックエンドを備えた llama.cpp を活用し、PS5のRDNA 2 GPU上で直接GGUF形式のモデルを実行します。OpenAIおよびAnthropic標準と互換性のあるローカルAPIサーバーを提供し、ノートPCやコーディングツールなどの外部デバイスからコンソールへリクエストを送信できるようにします。このアプリには、モデルのダウンロード管理、ハードウェアパフォーマンス（温度、電力、負荷）の監視、コントローラーを介したモデルとの直接対話を行うためのテレビ用グラフィカルインターフェースが含まれています。

対象ユーザー

このプロジェクトは、クラウドアカウント、外部PC、インターネット接続に頼らずにプライベートなAIモデルをローカルで実行したい、脱獄済みPS5（ファームウェア7.00から13.60）を持つユーザー向けです。

ハイライト

• Vulkanバックエンドを使用してPS5 GPU上で直接モデルを実行。
• 外部ツールとの統合のために、OpenAIおよびAnthropic互換のAPIエンドポイントを提供。
• 型指定された高速推論タスクのための意思決定モデルをサポート。
• システムパフォーマンスの監視とモデルストレージ管理のためのオンスクリーンダッシュボードを搭載。
• マルチモーダルモデル向けの画像からテキストへの変換機能を有効化。