同じ大規模言語モデルを手元で動かすとき、これまでは「GPUのVRAMが何GBあるか」を見れば足りるかどうかを判断できました。ですが2026年8月27日時点の一次資料を読むと、その見方だけでは足りるか分からなくなっています。VRAMとホストRAM、つまりGPUに載っているメモリとパソコン本体側のメモリが、別々の数字として要求されるようになったためです。片方の数字だけでは判断できない形になっています。
理由の1つ目はMoEです。MoEは、モデルの中にたくさんの小さな担当部分（エキスパート）を持ち、1トークンごとにその一部だけを動かす作り方です。Qwen公式Xの発表によると、Qwen3.8-Flash-Nextは総パラメータ125Bのうち、1トークンあたり6Bだけが動きます。Artificial Analysisの記事によると、GLM-5.3-Flashは320Bのうち18Bです。動いていないエキスパートは、その瞬間はVRAMに置いておかなくても構いません。GPUに常に残しておくのは、毎回必ず使う部分ということになります。GLM-5.3-Flashの第三者評価についてはGLM-5.3-Flash、第三者評価で知能指数57・1タスク0.09ドルでも取り上げています。
理由の2つ目が、今回いちばん新しい部分です。Qwen3.8-Flash-Nextは125Bに加えて、51BのN-gram埋め込みを持っています。N-gramは短い単語の並びのことです。これは短い並びを引くための表にあたるもので、1トークンあたりの計算はほとんど要りません。そのためvLLMの公式レシピは、この部分をホストRAMへ非同期でオフロードする前提になっています。設定はVLLM_PLE_CPU_OFFLOAD=1です。同レシピが示す必要量は、FP8の構成でVRAM 172.78GiBとホストRAM 51GB以上、BF16の構成でVRAM 335.28GiBとホストRAM 51GB以上とされています。注目したいのは、VRAMとホストRAMが別々の欄に分かれていることです。なお同レシピには実測のスループットは書かれていません。100万トークンでprefillが10.2倍、decodeが6.6倍という主張はありますが、これはアテンションのカーネルについてのもので、全体の速度を示すものではありません。
理由の3つ目は量子化です。量子化は、モデルの数値を粗く表して容量を減らす手法です。Unslothの公式ガイドがQwen3.8-Flash-Nextについて示す表では、1-bitで75GB、2-bitで79GB、3-bitで90GB、4-bitで112GB、5-bitで200GB、8-bitで270GB、BF16で355GBとされています。同じモデルでも、上下で4.7倍の開きがあることになります。そしてこの表の見出しは「VRAM」ではなく「RAMまたはユニファイドメモリ」と書かれています。同ガイドは最低75GB、96GBの機器が望ましいとしています。GGUF版の公開についてはUnsloth、Qwen3.8-Flash-Nextを75GBのRAMで動かすGGUF版を公開で報じました。
VRAMとRAMを分けない構成もあります。ユニファイドメモリは、CPUとGPUが同じメモリを共有する仕組みです。Appleが初の2nm「M6」と4ダイ構成「M5 Ultra」を発表で伝えたとおり、Apple M5 Ultraはユニファイドメモリを最大512GB搭載し、帯域は1.2TB/sとされています。Unslothは、CPUのRAMやユニファイドメモリでもVRAMに近い速度が出るとしています。ただし、その「VRAMに近い速度」の具体的な数値は公表されていません。どの程度なのかは、資料からは分かりません。
実際に動いた報告もあります。FreeToken、手元のPCでMoEモデルを動かす実行系をarXivで公開によると、8GBのGPUを積んだノートPCで35B、ゲーミングデスクトップで284B、ワークステーションのGPU1枚で753Bのモデルを動かしたとされています。ただし要旨に速度の数値はなく、確認できるのは「動いた」というところまでです。
まとめると、見るべき数字は1つから4つに増えました。総パラメータ（置き場所の総量）、活性パラメータ（1トークンあたりの計算量）、オフロードできる部分（N-gramの表や動いていないエキスパート）、そしてホストRAMの量です。ここに挙げた必要メモリはいずれも2026年8月27日時点で確認した公式資料の記載であり、今後変わる可能性があります。速度については、その後に当サイトで実際に測りました。結果はRTX 3090でLLMを実測―毎秒何トークンあれば読む速さに足りるかにまとめています。モデルの作りそのものの変化についてはAIトレンド①モデルの作りが変わった―大きさより「1回にいくつ動かすか」、Qwen3.8-Flash-Nextの重み公開についてはQwen3.8-Flash発表とFlash-Next重み公開、設定ファイルは「Qwen4」表記もあわせてご覧ください。
