GLM-5.3-Flashの記事一覧
GLM-5.3-Flashに関する記事1本を、新しい順に掲載しています。
AI
96GBのGPUで320Bを丸ごと動かす―4層逃がすだけで速度は半分
VRAM96GBのGPUなら、320B級のモデルを丸ごと載せて毎秒67トークンで動かせます。しかし、ほんの少しVRAMが足りずにエキスパート4層をCPUへ逃がすと、速度は半分以下になり、VRAMは1.3GiBしか減りませ…
GLM-5.3-Flashに関する記事1本を、新しい順に掲載しています。
VRAM96GBのGPUなら、320B級のモデルを丸ごと載せて毎秒67トークンで動かせます。しかし、ほんの少しVRAMが足りずにエキスパート4層をCPUへ逃がすと、速度は半分以下になり、VRAMは1.3GiBしか減りませ…