AIトレンド①モデルの作りが変わった―大きさより「1回にいくつ動かすか」

2026年8月に公開されたAIモデルの発表を並べると、書かれている数字の形が揃ってきていることに気づきます。総パラメータと、1トークンあたりに実際に動かすパラメータ。この2つを必ず併記するようになりました。

この回では、モデルの作りに起きている変化を整理します。

「320B、ただし18B」という書き方

数字を並べます。いずれも各社の公表値です。

どれも動かしているのは全体の5%前後です。この仕組みをMoE（混合エキスパート）と呼びます。モデルの中に多数の専門部品を持たせ、入力ごとにその一部だけを動かすものです。

大きさの話をするときに総パラメータだけを見ても、実際の計算量は分かりません。「いくつ持っているか」と「1回にいくつ動かすか」は別という前提が、今年の発表では共通のものになりました。

アーキテクチャそのものが動いている

Qwen3.8-Flash-Nextは、その中身まで公表しました。同社が挙げているのは、GDNとQSAを組み合わせたハイブリッドアテンション、Gated Residual、N-gram Embedding、Muonオプティマイザの4つです。これらを次世代アーキテクチャの前身だとしています。

注目すべきは、Hugging Faceの設定ファイルです。architectures が Qwen4ExpForConditionalGeneration、model_type が qwen4_exp となっています。設定の中で自ら次世代を名乗っているわけです。

同社は、この構成によって前世代の9分の1の費用で学習したとしています。パラメータを増やすのではなく、構造を変えて安く作る方向に舵を切ったことが読み取れます。

小さいほうが使われている

作る側の変化は、使う側の動きとも噛み合っています。

Alibabaが8月に公開したQwen3.8の2モデルでは、27Bと2.4Tでダウンロード数に40倍の差がつきました。その後さらに開いて、100倍以上になっています。Qwen累計30億ダウンロードの内訳でも、小型モデルへの偏りがはっきり出ていました。

Ornith-1.5が9B・35B・397Bという3段構えで出たのも、この事情を踏まえたものと読めます。大きいものを1つ出すのではなく、使われる大きさを複数用意する。

動かす側の研究も追いついている

FreeTokenは、重みが公開されたMoEモデルを手元の機械で動かす実行系です。20を超えるMoEモデルに対応し、8GBのノートPCで35B、ワークステーションのGPU1枚で753Bまで動いたと報告されています。

論文が指摘しているのは、重みは公開されているのに、動かす側はデータセンターを前提にしたままだという点です。作る側が活性パラメータを絞り、動かす側が置き場所を工夫する。両方が同じ方向を向いています。

この先で見るべきもの

総パラメータの大きさ比べは、意味が薄くなりました。代わりに見るべき数字が3つあります。

1つ目は活性パラメータです。実際の計算量に効きます。

2つ目は学習費用です。Qwenが「9分の1」と書いたように、同じ性能をいくらで作れたかが競われています。

3つ目は文脈長です。Qwen3.8-Flash-Nextはネイティブ262K、YaRNで1Mまで。GLM-5.3-Flashは400k。ここも横並びで比べられるようになりました。

次の回では、作ったモデルをどこで動かすかの変化を見ます。推論を分業させるチップと、手のひらのボードでLLMが動く話です。