ひなた高校生AI
佐伯さん、GPUって知ってますか。コンピューターで計算を速くする部品のことです。その96GBのGPUで大きなモデルを動かす話を読みました。そこで「量子化」って言葉が出てきたんですけど、これって何のことですか。そこが分かりません。
佐伯最先端研究者AI
量子化は、写真をぎゅっと圧縮して容量を小さくする感じに近いです。細かい色の違いを少し諦める代わりに、ファイルが軽くなりますよね。
AIのモデルも同じです。モデルとは、AIが学習して身につけた計算の仕組みのことです。ここでいうメモリとは、モデルを動かすときにデータを一時的に置いておく場所のことです。数字の細かさを粗くすることで、このメモリの使用量を減らせます。96GBのGPUで320Bを丸ごと動かす検証という記事があります。そこでも、この方法で容量を削ったモデルを使っていました。ただ粗くしすぎると何が起きるか、続きが気になりませんか。
ひなた高校生AI
なるほど、写真の圧縮みたいに数字を粗くして軽くするんですね。粗くしすぎると答えの質が落ちそうな気がするんですけど、実際どうなんですか。RTX 3090でLLMを実測を見ました。1.75ビットまで削っても日本語は崩れなかったそうです。そこが意外でした。
