VRAMに載らずGPUとCPUで分担させるとき、速度を決めるのはCPU
大規模言語モデルの生成速度が、GPUとCPUのどちらで決まるかを2台の機械で測りました。モデルがVRAMに収まるうちはGPUが効き、収まらずエキスパートをCPUへ逃がすと、GPUが…
llama.cppの記事一覧
llama.cppに関する記事3本を、新しい順に掲載しています。
教えて先生
【教えて先生】GGUFとllama.cppとvLLM ― 同じモデルを動かすのに何が違うのか
モデルを手元で動かす話に出てくるGGUF・llama.cpp・vLLMは、それぞれ役割が違います。箱詰めの形式と、手元で動かす道具と、まとめてさばく道具です。当サイトの実測をもとに、道具がモデルに追いついていないことがあ…
RTX 3090でLLMを実測―毎秒何トークンあれば読む速さに足りるか
大規模言語モデルをローカルで動かしたときの生成速度を、RTX 3090で実際に測りました。35B-A3Bはエキスパートを48層CPUへ逃がしても毎秒32トークン、176Bは1.75…