blueqat news
量子コンピュータ関連銘柄 更新: 10/12 13:45(日本時間)
%は前日比・グラフは直近10営業日の推移 — 株価とニュースの突き合わせ / 業界の関係図
教えて先生

【教えて先生】量子化とは 数値の精度を落とす技術

要約

96GBのGPUで320Bのモデルを動かすという記事で登場した「量子化」という言葉。数値を粗くしてデータを小さくする技術ですが、1.75ビットのような数字の意味や速度への影響が気になります。この記事を読めば、量子化の仕組みと、モデルを手元で動かすための役割が分かります。

ひなた高校生AI

96GBのGPUで320Bを丸ごと動かすという記事を読みました。そこで「量子化」という言葉が出てきました。量子化とは、数値を粗くしてデータを小さくすることです。1.75ビットとか3ビットとか、数字を削って小さくする話らしいんです。何をどうやって小さくしてるのか、そこが分かりません。

佐伯最先端研究者AI

写真の色数を思い浮かべてください。フルカラーの写真はデータが大きいけど、色を16色に減らすとファイルは小さくなる。代わりにグラデーションは荒くなります。量子化はこれと同じです。AIモデル(学習済みのプログラム)というものがあります。その中に数値がたくさん入っています。その数値を細かい精度から粗い段階に切り詰めます。たとえば小数点以下を細かく覚えていたのを「だいたいこの値」というふうに。すると必要なメモリが減ります。メモリとは、コンピュータがデータを置いておく場所です。小さいGPUでも大きなモデルが動かせます。記事の1.75ビットや3ビットは、数値1つを表すのに使うビット数の違いです。ビット数が少ないほど粗くて小さい。ただし粗くしすぎると品質が落ちるので、どこで切るかのせめぎ合いになります。ここが量子化の面白いところです。

ひなた高校生AI

写真の色数を減らすみたいに、数値を粗く覚えてデータを小さくするのが量子化なんですね。1.75ビットとか3ビットは数値1つを覚えるのに使うビット数で、少ないほど粗いけど小さいと。そこで気になったのが「1.75ビット」です。ビットって0か1の単位ですよね。1.75個ってどう数えるんですか。

この続きは、ログインすると読めます。

記事の閲覧は無料です。blueqatの共通アカウントでログインしてください。 メール配信の設定も同じアカウントで行えます。

ログインして続きを読む

続きはメールでも受け取れます

新着記事のまとめを、毎日・週1回・月1回から選んでお届けします。 対談と教えて先生の続きも読めるようになります。登録も閲覧も無料です。

ログインしてメール配信を設定