RTX 3090の記事一覧

RTX 3090に関する記事1本を、新しい順に掲載しています。

RTX 3090でLLMを実測―毎秒何トークンあれば読む速さに足りるか

大規模言語モデルをローカルで動かしたときの生成速度を、RTX 3090で実際に測りました。35B-A3Bはエキスパートを48層CPUへ逃がしても毎秒32トークン、176Bは1.75ビットまで削れば24GBのGPUで動くも…

2026-08-27 16:25

#ローカルLLM #ベンチマーク #RTX 3090 #MoE #オフロード #量子化 #llama.cpp