【教えて先生】量子化とは 数値の精度を落とす技術
96GBのGPUで320Bのモデルを動かすという記事で登場した「量子化」という言葉。数値を粗くしてデータを小さくする技術ですが、1.75ビットのような数字の意味や速度への影響が気に…
量子化の記事一覧
量子化に関する記事14本を、新しい順に掲載しています。
教えて先生
【教えて先生】GGUFとllama.cppとvLLM ― 同じモデルを動かすのに何が違うのか
モデルを手元で動かす話に出てくるGGUF・llama.cpp・vLLMは、それぞれ役割が違います。箱詰めの形式と、手元で動かす道具と、まとめてさばく道具です。当サイトの実測をもとに、道具がモデルに追いついていないことがあ…
PrismML、Qwen3.8 27Bを5.9GBに圧縮した「Ternary Bonsai 2」公開——総合83.9で1世代前に並ぶ
PrismMLが2026年9月17日、Qwen3.8 27Bを三値に圧縮したTernary Bonsai 2 27Bを公開しました。5.9GB・Apache 2.0で、総合83.9…
【クオンタムビュー】9月7日｜忠実度・量子化、定義判明も実測値待ち
量子ビット忠実度「99.9%」は何を測った数字か、AIを軽くする量子化技術とは何か。9月7日のクオンタムビューでは、この2つの仕組みと、比較に必要な条件を掘り下げます。米国市場10…
量子化とは？（AI）
AIの「量子化」は、データの精度を落として計算量やメモリを減らす技術で、量子コンピュータとは無関係です。写真の色数を減らすように数値の精度を粗くすることでAIモデルを軽く・速くし、…
量子コンピュータ業界 週間まとめ：PasqalのSPAC上場とIBM・HRL買収完了、量子ハードウェアが各地で稼働開始
今週はIBMのHRL買収完了やPasqalのNasdaq上場など企業結合が相次ぎ、日本初のフルスタック中性原子量子コンピュータ「春海」も稼働開始しました。IonQによるCPUのみで…
ローカルLLMの現実解と、広がるAIの功罪―検証データと社会統計が語る2026年8月の断面
ローカルLLMのメモリ・速度実測から、falの動画生成モデルH3 Maxを巡るオープン/クローズド論争、AI関連職種における若年層雇用の低下まで、今週のAI関連ニュースをまとめて紹…
【教えて先生】量子化とは何か—AIモデルを軽くする仕組みと限界
大きなモデルを軽く動かす鍵として「量子化」という言葉がニュースに登場していました。写真の圧縮に例えながら、数字を粗くする仕組みと、その工夫だけでは解決しない現実が分かります。
ローカルLLM実行の最適解を探る―メモリ配分とハードウェアの現在地
この1週間、ローカルで大規模言語モデル（LLM）を動かすための実測データと新製品情報が相次いで公開された。共通するのは「VRAMに収まらない巨大モデルをどう動かすか」という一点であ…
96GBのGPUで320Bを丸ごと動かす―4層逃がすだけで速度は半分
VRAM96GBのGPUなら、320B級のモデルを丸ごと載せて毎秒67トークンで動かせます。しかし、ほんの少しVRAMが足りずにエキスパート4層をCPUへ逃がすと、速度は半分以下に…
VRAMに載らずGPUとCPUで分担させるとき、速度を決めるのはCPU
大規模言語モデルの生成速度が、GPUとCPUのどちらで決まるかを2台の機械で測りました。モデルがVRAMに収まるうちはGPUが効き、収まらずエキスパートをCPUへ逃がすと、GPUが…
RTX 3090でLLMを実測―毎秒何トークンあれば読む速さに足りるか
大規模言語モデルをローカルで動かしたときの生成速度を、RTX 3090で実際に測りました。35B-A3Bはエキスパートを48層CPUへ逃がしても毎秒32トークン、176Bは1.75…
MoEと量子化でLLMの必要メモリが変化、VRAMとホストRAMを分けて見る必要に
大規模言語モデルをローカルで動かす際に見るべき数字が、VRAM容量だけでは足りなくなっています。vLLM公式レシピが示すQwen3.8-Flash-NextのVRAMとホストRAM…
Unsloth、Qwen3.8-Flash-Nextを75GBのRAMで動かすGGUF版を公開
Unsloth が2026年8月26日、Qwen3.8-Flash-Next の GGUF 版を Hugging Face で公開しました。UD-Q4_K_XL から UD-IQ1…