この1週間、ローカルで大規模言語モデル（LLM）を動かすための実測データと新製品情報が相次いで公開された。共通するのは「VRAMに収まらない巨大モデルをどう動かすか」という一点であり、MoE（Mixture of Experts）型モデルの普及によって、単純なGPUスペック比較では語れない複雑な最適化問題が浮き彫りになっている。
象徴的なのが96GBのGPUで320Bを丸ごと動かす検証だ。エキスパートをわずか4層だけCPUに逃がした途端、VRAM消費はほとんど変わらないのに速度は半分以下に落ち込むという結果は、「中途半端なオフロード」の危険性を示している。この知見を裏付けるように、GPUとCPUの分担で速度を決めるのはCPU側という検証では、GPUが新しくてもCPUがボトルネックになれば速度が半減することが確認された。さらに1.75ビットと4ビットで速度差がほとんどないという事実も、量子化の粒度よりもメモリ配置そのものが速度を支配することを裏付けている。
こうした知見はハイエンド機だけの話ではない。RTX 3090での実測では、35Bモデルをエキスパート48層までCPUに逃がしても毎秒32トークンを維持できる一方、176Bモデルは1.75ビットまで削っても毎秒5トークンしか出ないという、現実的な「読む速さ」との比較が示された。日本語1トークンが何文字に相当するかという地に足の着いた換算を行っている点も、実運用を意識した検証として興味深い。
背景には、モデル選定の基準がVRAM容量だけでは足りなくなっているという構造変化がある。MoEと量子化でメモリ要求が変化するという整理が指摘する通り、今やVRAMとホストRAMを分離して見積もる必要があり、これはUnslothによるQwen3.8-Flash-NextのGGUF版公開が示す量子化バリエーション（75GBから355GBまで）の幅広さとも呼応する。量子化技術の進化は「動かせる」の敷居を下げる一方で、どこにどれだけメモリを割り振るかという新たな設計判断を利用者に要求している。
この流れと軌を一にするのが、Perplexityが発表したPortable ComputerのようなローカルAI専用ハードウェアの登場だ。オーケストレータやサブエージェントを手元で完結させるという発想は、まさに今週のベンチマーク群が示す「メモリとCPU/GPUの分担最適化」という技術的課題に対する、ハードウェア側からの一つの回答と見ることができる。
編集部として注目したいのは、これらの検証が理論値ではなく実測に基づいている点だ。モデルの大規模化とMoE化が進むほど、公式スペック表だけでは実際の使用感を予測できなくなっている。今後もローカルLLMの実用性は「どれだけ大きいモデルを動かせるか」ではなく「どう配分すれば実用速度を維持できるか」という、より泥臭い最適化の巧拙で語られるようになっていくだろう。
