CPUの記事一覧
CPUに関する記事1本を、新しい順に掲載しています。
AI
VRAMに載らずGPUとCPUで分担させるとき、速度を決めるのはCPU
大規模言語モデルの生成速度が、GPUとCPUのどちらで決まるかを2台の機械で測りました。モデルがVRAMに収まるうちはGPUが効き、収まらずエキスパートをCPUへ逃がすと、GPUが新しくても速度は半分になります。今回利用…
CPUに関する記事1本を、新しい順に掲載しています。
大規模言語モデルの生成速度が、GPUとCPUのどちらで決まるかを2台の機械で測りました。モデルがVRAMに収まるうちはGPUが効き、収まらずエキスパートをCPUへ逃がすと、GPUが新しくても速度は半分になります。今回利用…