ローカルLLM実行の最適解を探る―メモリ配分とハードウェアの現在地
この1週間、ローカルで大規模言語モデル（LLM）を動かすための実測データと新製品情報が相次いで公開された。共通するのは「VRAMに収まらない巨大モデルをどう動かすか」という一点であ…
オフロードの記事一覧
オフロードに関する記事6本を、新しい順に掲載しています。
96GBのGPUで320Bを丸ごと動かす―4層逃がすだけで速度は半分
VRAM96GBのGPUなら、320B級のモデルを丸ごと載せて毎秒67トークンで動かせます。しかし、ほんの少しVRAMが足りずにエキスパート4層をCPUへ逃がすと、速度は半分以下に…
VRAMに載らずGPUとCPUで分担させるとき、速度を決めるのはCPU
大規模言語モデルの生成速度が、GPUとCPUのどちらで決まるかを2台の機械で測りました。モデルがVRAMに収まるうちはGPUが効き、収まらずエキスパートをCPUへ逃がすと、GPUが…
RTX 3090でLLMを実測―毎秒何トークンあれば読む速さに足りるか
大規模言語モデルをローカルで動かしたときの生成速度を、RTX 3090で実際に測りました。35B-A3Bはエキスパートを48層CPUへ逃がしても毎秒32トークン、176Bは1.75…
MoEと量子化でLLMの必要メモリが変化、VRAMとホストRAMを分けて見る必要に
大規模言語モデルをローカルで動かす際に見るべき数字が、VRAM容量だけでは足りなくなっています。vLLM公式レシピが示すQwen3.8-Flash-NextのVRAMとホストRAM…