VRAMに載らずGPUとCPUで分担させるとき、速度を決めるのはCPU
大規模言語モデルの生成速度が、GPUとCPUのどちらで決まるかを2台の機械で測りました。モデルがVRAMに収まるうちはGPUが効き、収まらずエキスパートをCPUへ逃がすと、GPUが…
VRAMの記事一覧
VRAMに関する記事3本を、新しい順に掲載しています。
AI
96GBのGPUで320Bを丸ごと動かす―4層逃がすだけで速度は半分
VRAM96GBのGPUなら、320B級のモデルを丸ごと載せて毎秒67トークンで動かせます。しかし、ほんの少しVRAMが足りずにエキスパート4層をCPUへ逃がすと、速度は半分以下になり、VRAMは1.3GiBしか減りませ…
MoEと量子化でLLMの必要メモリが変化、VRAMとホストRAMを分けて見る必要に
大規模言語モデルをローカルで動かす際に見るべき数字が、VRAM容量だけでは足りなくなっています。vLLM公式レシピが示すQwen3.8-Flash-NextのVRAMとホストRAM…