何が行われたか
家庭用ゲーム機のPlayStation 5（PS5）で、パラメータ数270億（27B）の大規模言語モデルを本体のGPUで動かしたという報告が、GitHub上のオープンソース・プロジェクトとして公開されています。
土台になったのは、Mert Cobanov氏が作ったPS5LMです。オープンソースの推論エンジンllama.cppをPS5に移植したもので、READMEは「llama.cpp on a jailbroken PlayStation 5」とうたっています。ただし公開版のv0.1はPS5のCPUで動く小型モデル向けで、扱えるのは1.6GBまでのモデル（Qwen3.5 0.8Bと2B）でした。
これをGitHubユーザーのabhi245y氏がフォークし、GPUで動くアプリとして作り直したのがPS5LM Plusです。READMEには、PS5LMのllama.cpp移植や調査はCobanov氏によるもので、自分のフォークはGPUで動くネイティブアプリを加えたものだと書かれています。この変更は元のリポジトリにプルリクエスト#12として提案されていて、10月15日時点ではまだ取り込まれていません。PS5LM Plusという名前は、10月13日公開のv0.8.3で元のPS5LMと区別するために付けられました。
どうやって動かしているか
違いはプログラムの起動のしかたにあります。元のPS5LMは改造環境で読み込む小さなプログラム（ペイロード）として動きます。開発者の測定では、ペイロードが使えるメモリは約6GiBで、GPUは使えません。コンソールの測定メモによると、6GiB近く確保するとホーム画面が固まり、ロックしたまま安定して置けるモデルは1.6GB程度まででした。
PS5LM Plusは、ホーム画面に登録してゲームと同じように起動するアプリ（タイトル）として動きます。タイトルは本体の「ダイレクトメモリー」12GiBとGPUを使えるので、27Bの2ビット量子化モデルが収まります。GPUの計算には、llama.cppの計算ライブラリggmlのVulkanバックエンドを使っています。PS5向けのVulkanドライバーは、オープンソースのMesaに含まれるAMD GPU向けドライバーRADVを有志のMihawk-99氏が移植したものです。設定を変えると、RADVからは11.44GiBの一つのメモリー領域として見えるといいます。
アプリはテレビに生成速度やメモリーの内訳を出すダッシュボードを持ち、同じネットワークにあるPCやスマートフォンのブラウザーからチャットできます。OpenAI互換とAnthropic互換のAPIも同じポートで受け付けます。
測定された速度
PS5LM PlusのREADMEに載っている、PS5のGPUでの生成速度は次のとおりです。
- Qwen3.8-27B UD-Q2_K_XL（9.2GiB）、コンテキスト32k、KVキャッシュq4_0：毎秒20.3トークン。7,775トークンの回答を毎秒19.7トークンで生成
- Qwen3.8-27B UD-IQ2_XXS（6.8GiB）、コンテキスト64k、KVキャッシュq8_0：毎秒20.7トークン
- Gemma 4 E4B QAT q4_0（4.8GiB、USBから読み込み）：毎秒61トークン
- Llama 3.2 3B Instruct Q4_K_M（1.9GiB、USBから読み込み）：毎秒124トークン
比較として、同じ27BをCPU上のペイロードでディスクから読みながら動かした場合は、1分に約1トークンだったと書かれています。
測定メモには、条件の違う数字もあります。UD-IQ2_XXSをコンテキスト4,096で動かした初期の測定では、読み込みに82秒かかり、プロンプトの処理は毎秒35〜50トークンでした。生成は短いプロンプトで毎秒21トークン、ウェブUIが送る371トークンのプロンプトの後では毎秒9トークンでした。テスト機はPS5 Slim（CFI-2015）、システムソフトウェア13.60です。
制約
まず、改造した本体でしか動きません。PS5LMのREADMEは、自分が所有し、システムソフトウェアが7.00〜13.60で、改造済みのPS5を前提にしています。システムソフトウェアを改造するのはソニーの利用規約や保証の範囲の外です。新しいシステムソフトウェアの本体では動きません。PS5LM PlusのREADMEも、改造済みの本体と複数の非公式ツールを事前に読み込むことを求めています。両プロジェクトとも、ソニー・インタラクティブエンタテインメントとは無関係だとしています。
使えるメモリーにも限りがあります。モデルを読み込んだまま別のモデルに替えると約5GiBが解放されずに残るため、アプリはモデルを切り替えるたびに自分を再起動します。温度やドライブの空き容量といった情報はタイトルからは読めず、別のペイロードに頼っています。
どう見るか
示されているのは、llama.cppをそのままPS5に移植し、GPUを使えるタイトルとして起動すれば、2ビット量子化した27Bのモデルが12GiBのメモリーに収まり、短いプロンプトで毎秒20トークン前後で生成できるということです。モデルごとにGPU用の処理を手書きするのではなく、llama.cppの仕組みを使うので、llama.cppが扱う他のモデルや量子化も同じアプリで読み込めます。
一方で、数値はすべて開発者が自分の1台で測ったもので、第三者による再現はまだ確認できません。速度には条件による幅があり、371トークンのプロンプトの後では毎秒9トークンまで下がった測定もあります。長いプロンプトでの速度や、プロンプト処理を含めた応答時間の全体像は、READMEの表からは分かりません。また、27Bを2ビットまで量子化したことで回答の質がどれだけ下がるかは測られていません。改造した本体と古いシステムソフトウェアが前提なので、一般のPS5ですぐに使える話ではなく、ゲーム機のGPUとメモリーでどこまでのモデルが動くかを示した一つの記録として読むのが適切です。
