前の回では、AIモデルの作りが「1回にいくつ動かすか」を絞る方向に動いていることを見ました。今回は、それをどこで動かすかの話です。
2026年8月の発表を並べると、動かす場所が両端に伸びています。片方はデータセンター、もう片方は手のひらです。
推論を2つに割る
NVIDIAが8月24日に量産開始を発表したGroq 3 LPXは、構成が変わっています。
同社の説明では、推論の処理を文脈の処理とトークンの生成に分け、別々のチップに担当させています。文脈の処理はGPUであるVera Rubin NVL72、トークンの生成はGroq 3 LPXが専用に加速し、Vera CPUが全体の進行を受け持つ形です。
1つのGPUで推論の全工程をまかなう形から離れた設計です。同社はArtificial Analysisのベンチマークで、Gemma 4 31Bを10万トークンの長文脈で動かして毎秒3,400出力トークン、「最も近い代替プラットフォームの4倍」としています。ただし比較対象の具体名は公式ブログに書かれていません。
手のひらでもLLMが動く
反対の端では、Arduinoが8月25日に発表したVENTUNO Qがあります。
160×100mmのボードの上で、Qwen 3 4B、Gemma 4のE2BとE4B、Qwen 2.5 7BのVLMといったモデルがローカルに動くとしています。llama.cppとGGUF形式に対応し、NPUは40 dense TOPSです。
設計として面白いのは、同社がdual-brainと呼ぶ構成です。AIの推論をLinux側のNPUで、決まった時間で動く制御をMCU側のZephyr RTOSで、1枚の上で分けています。CAN-FDやGPIOを備えているのは、推論した結果でその場の機械を動かすことを想定しているためです。
前の回で触れたFreeTokenが「重みは公開されているのに動かす側はデータセンター前提のまま」と指摘していましたが、ハードウェアの側からもその前提が崩れつつあります。
チップそのものの選択も分かれた
土台となる半導体でも、同じ8月に対照的な発表が並びました。
Appleが発表したM6は同社にとって初の2nmです。M5 Ultraは初のクアッドダイ構成で、ユニファイドメモリ最大512GB・帯域1.2TB/s。同社は数千億パラメータのモデルをローカルで動かせるとしています。
いっぽうXiaomiの玄戒O3は3nmに据え置きです。トランジスタ数を240億へ26%増やし、ダイ面積は133mm²。世代を進めずに面積で稼ぐ選択をしています。
なお、どちらも製造を請け負う工場の名前は公表していません。
計算のしかた自体を変える動きも
もう一段外側には、計算の原理から変える試みもあります。
Cerebrasのウエハースケール新機種CS-4は、ウエハー1枚を丸ごとチップにする方式で推論最大30倍を主張しています。ExtropicがテープアウトしたZ1は確率計算のチップで、27万pビットを消費電力1W未満で動かすとしています。
いずれも、GPUを並べる以外の道を探るものです。
この先で見るべきもの
動かす場所の話で、いま比べられるようになった数字は3つあります。
メモリ帯域です。M5 Ultraの1.2TB/s、M6の170GB/sのように、モデルを載せられるかどうかを決めます。
分業の有無です。1つのチップで全部やるのか、役割を分けるのか。NVIDIAの構成はこの問いへの一つの答えです。
消費電力です。ただしこれは、今回並べたどの発表でも公表されていませんでした。比べたくても比べられない項目が残っています。
次の回では、技術から離れて、お金と評価の変化を見ます。
