重みが公開された大規模モデルを、自分が持っている機械の上で動かすための実行系が発表されました。論文の題は「FreeToken: Efficient Edge-Native MoE Serving with Bandwidth-Adaptive Execution」です。2026年8月17日にプレプリント投稿サイトのarXivへ投稿されました。プレプリントとは、査読を受ける前の段階で公開される論文のことです。査読の有無は要旨に書かれていません。手元のノートPCやデスクトップで大きなモデルを動かしたい人に向けた研究といえます。
研究チームは、いまの状況をこう整理しています。要旨によると、重みが公開された最先端モデルは増えているのに、それを動かす側はいまもデータセンターの設備を前提にしているとしています。FreeTokenはその前提を崩す方向の設計です。MoE（Mixture of Experts、入力に応じて一部の「エキスパート」だけを使う仕組み）のモデルをエッジで動かすことを前提に組まれています。エッジとは、利用者の手元にある機械のことです。個人の機械を「小さなGPU」として扱うのではなく、ひとつながりの伸縮する推論基盤として扱う、という考え方が示されています。
設計を作り直した対象として、要旨は5つを挙げています。モデルの並べ方と読み込み、どのエキスパートを載せておくか、CPUとGPUでの実行、エージェントの状態の使い回し、実行中のメモリ管理です。前提として置いているのは2点です。1つは、エージェントの仕事は実行のしかたが刻々変わることです。もう1つは、エッジの機械は資源の構成が1台ごとに違うことです。そのため特定のオフロード方法に決め打ちせず、計算とモデルの状態をそのとき実際に空いている資源へ割り当て続ける、と説明されています。
動かせた範囲についても要旨に記述があります。対応したのは20を超えるMoEモデルです。実際のコーディング用のエージェントや、道具を使うエージェントで動かしたとしています。試した機械の幅は、8GBのノートPCのGPUから、ワークステーションのGPU 1枚までです。動かせたモデルの大きさは、ノートPCで35B、ゲーミングデスクトップで284B、ワークステーションのGPU 1枚で753BのGLM-5.2でした。Bはパラメータ数の単位で、10億を指します。要旨は締めとして、公開された重みを配備可能なローカルソフトウェアに変え、利用者がすでに持っている機械を最先端規模の知能のための実用的な基盤にする、と述べています。
試したい読者が取れる手順は2つです。まず論文の内容はarXivの要旨ページで確認できます。次に、要旨には「We release the system at」としてシステムの公開先が記されています。示されているのは flashml.ai です。ライセンスの表記はNonexclusive-distrib/1.0です。以上は2026年8月24日時点で確認した内容です。公開先の状態は変わる可能性があります。
読むときに気をつける点もあります。要旨には速度やスループット、遅延の数値が書かれていません。既存の実行系との比較の数値もありません。ですから「速い」「上回る」といった読み方は要旨からはできません。量子化の有無や精度への影響も記述がありません。使われたノートPC、デスクトップ、ワークステーションの具体的な機種やGPU名も書かれていません。著者は11名の名前が挙がっていますが、所属はページに記載がありません。読者が判断できるのは、動かせたモデルの大きさと、設計の考え方までです。
背景として、重みを公開する側の動きは当サイトでも追ってきました。397BのMoEを配る例としてはOrnith-1.5の公開があります。大小2つを同時に出す型としてはQwen3.8の27Bと2.4Tがあり、ダウンロード数には差が出ています。公開モデルは小型ほど使われる傾向はQwenの累計30億ダウンロードの内訳でも示されています。エージェントを動かす側の道具ではDeepSeekのエージェントハーネス「dsh」が公開されています。8月後半の全体の動きはオープンモデル乱立とエージェント特化競争の記事にまとめています。
