Strataとは
Strataは、Qwenチームが公開した大規模言語モデル「Qwen3.8-Flash-Next」を、一般的なゲーミングPCで動かすための推論エンジン（学習済みモデルを実行して文章を生成するソフトウェア）です。GitHubのリポジトリ「Niko1221/Strata」で公開されており、ライセンスはMITです。LICENSEファイルの著作権表記は「Niko1221 and the Strata contributors」で、コミットの大半はNiko1221氏によるものです。GitHub上で見つかる同名のリポジトリの多くは、このリポジトリからのフォーク（派生コピー）です。
最初のリリースv0.1.0は2026年9月24日に公開され、10月14日にはv0.1.44.1が出ています。Windows用のSTART-HERE.bat、Linux用のsetup.shを実行すると、GPUを判別し、モデルの種類・サイズ・コンテキスト長（一度に扱える文章の長さ）・画像入力の有無を尋ねたうえでモデルをダウンロードして起動します。起動後はブラウザでhttp://127.0.0.1:8080を開くとチャット画面とGPU・CPU・RAMの監視画面が使えます。
動かす対象のQwen3.8-Flash-Nextは、モデルカードによると総パラメータ125B、1トークンあたりに使うパラメータ6Bの混合エキスパート（MoE）モデルです。MoEは多数の小さな専門家ネットワーク（エキスパート）を持ち、入力ごとにその一部だけを使う構造を指します。各層に512個のエキスパートがあり、1トークンあたり10個（と共有エキスパート1個）を使います。層は48です。これとは別に51Bのnグラム埋め込み（短い単語列を引く参照表）と4BのMTP層（次の数トークンを予測する層）を持ち、コンテキスト長は標準で262,144トークンです。モデル自体のライセンスはQwen Community License 1.0で、Strata本体のMITとは別です。
GPU・CPU・RAM・SSDの分担
READMEは、通常はGPUメモリが数百GBあるサーバーで動かすモデルを、PC全体で仕事を分けて収めると説明しています。技術資料（HOW_IT_WORKS.md）に書かれた分担は次の通りです。
| 置き場所 | 置くもの・行う処理 |
|---|---|
| GPU（VRAM） | アテンションとDeltaNet（線形アテンションの一種）の部分、ルーター（どのエキスパートを使うか決める部分）、共有エキスパート、出力層、MTP層、KVキャッシュ（過去のトークンの計算結果の保存領域。64K以上では頻繁に読む部分だけ）、残りの容量を埋める「よく使うエキスパート」のキャッシュ |
| RAM | 48層×512個＝24,576個のエキスパートすべて。GPUにないエキスパートはCPUがRAM上でそのまま計算し、GPUの計算と並行して進める |
| SSD | 28.8GBのnグラム表。1トークンごとに数行だけ読む |
GPU上のエキスパートのキャッシュは会話の内容に合わせて入れ替わります。資料では、VRAMが1GB増えるごとに約700個多くエキスパートを置けるため、GPUの速さよりVRAMの量が効くとしています。長い入力を読み込む段階では、最大8,192トークンずつまとめて処理し、次の層のエキスパートをPCIe経由でGPUへ送りながら現在の層を計算します。
投機的デコード
文章を生成する段階では、投機的デコード（小さな仕組みが先に数トークンを予想し、本体がまとめて検証する方式）を使います。Strataではモデル自身のMTP層が最大3トークンを予想し、48層を1回通す計算で検証します。1回あたり平均2.4〜3.2トークンが確定し、READMEは「同じ答えが1.6〜1.8倍早く出る」としています。コードの書き換えなど入力を繰り返す返答では、入力中の同じ部分から最大5トークンを予想する仕組みも併用し、資料ではコード編集が6〜11%速くなったとしています。
対応ハードウェア
READMEが挙げる要件は次の通りです。
| 項目 | 内容 |
|---|---|
| GPU | NVIDIA GeForce RTX 20／30／40／50シリーズ、AMD Radeon RX 7900 XT／XTX、RX 7800 XT／7700 XT、RX 9060 XT、RX 9070／9070 XT、Radeon AI PRO R9700、RX 6800／6900シリーズ。VRAM 12GB以上 |
| RAM | 32GB以上。64GBあればすべてのサイズが動く |
| ディスク | 空き約80GB。SSD推奨 |
| OS | Windows 10／11またはLinux |
2〜3枚のGPUでモデルを分け合う構成にも対応しています。このほか、旧世代GPU（Tesla P40／V100など）、Intel Arc、Apple Silicon（M1〜M5）、AMD Ryzen AI Max（Strix Halo）は、コミュニティのメンバーが自分の機材で書いて試した「実験的」な対応と位置づけられています。
量子化の種類とサイズ
量子化は、モデルの重みを少ないビット数で表してファイルとメモリを小さくする手法です。Strataが使うのは、オーストリア科学技術研究所（ISTA）のDASLabがGSQとRCOという手法で作ったGGUF形式（llama.cppなどで使うモデルファイル形式）の量子化版です。ISTA-DASLabのモデルカードに書かれた平均ビット数とダウンロードサイズは次の通りです。
| サイズ | 重み1個あたりの平均ビット数 | ダウンロード | RAMに置くエキスパート |
|---|---|---|---|
| Q2_0 | 2.40 | 66.4GB | 34GB |
| IQ2_XS | 2.50 | 68.0GB | 35.5GB |
| IQ3_XXS | 3.00 | 75.8GB | 43GB |
| IQ3_S | 3.50 | 83.6GB | 50GB |
| Coder（IQ1_M） | 1.89（元のパラメータ数で割った実効値） | 58.4GB | 23GB |
ダウンロードの数字にはSSDに置く28.8GBのnグラム表が含まれます。初回起動時には別にMTP層（約6GB、画像入力ありで+1GB）を取得します。RAMの目安は「エキスパートの量＋約10GB」で、RAM 48GBならQ2_0とIQ2_XS、64GBならすべてのサイズが収まるとしています。推奨はIQ2_XSです。
Coderは、ISTA-DASLabが各層512個のエキスパートのうちコード・エージェント・画像のデータで選んだ256個だけを残した版です。残した重みは3.5ビットで保存されており、1.89ビットは取り除いた分も含めて元のパラメータ数で割った値です。RAM 32GBのPCにはこのCoderが勧められています（24GBのGPUがあれば、32GBでもQ2_0とIQ2_XSが動くとしています）。
このほか、Unslothが作った4〜8ビットの量子化版（UD-IQ4_XS〜Q8_0）も選べます。UD-IQ4_XSのダウンロードは94GBです。
README記載の速度
READMEは2台のPCで測った値を載せています。「生成」は短い会話で返答が出る速さ、「読み込み」は32Kトークンの入力を取り込む速さです（単位はいずれも毎秒トークン数）。
| サイズ | 生成（NVIDIA） | 読み込み（NVIDIA） | 生成（AMD） | 読み込み（AMD） |
|---|---|---|---|---|
| Q2_0 | 94 | 2,650 | 60 | 1,160 |
| IQ2_XS | 79 | 2,090 | 52 | 1,110 |
| IQ3_XXS | 62 | 1,750 | － | － |
| IQ3_S | 53 | 1,620 | － | － |
| Coder | 55 | 2,180 | 44 | 1,420 |
NVIDIA側はGeForce RTX 5070（12GB）、Ryzen 5 7600、RAM 64GB（DDR5-5200）、Windowsの構成で、Q2_0はエンジン0.1.36、それ以外は0.1.26で測っています。AMD側はRadeon RX 9070 XT（16GB）、Ryzen 9 3900X、RAM 47GB、Linuxの構成です。2台はGPUだけでなくCPUとRAM容量も異なります。
MODELS.mdには128Kトークンのコンテキストでの生成速度も載っており、RTX 5070のPCでQ2_0が76、IQ2_XSが63、IQ3_XXSが49、IQ3_Sが46、Coderが43です。READMEは、RTX 3090（24GB）なら毎秒100〜140トークン程度になるはずとしていますが、これは測定値ではなく推定です。
APIとの互換
Strataは手元のPCでAPIサーバーとしても動きます。
- OpenAI互換：ベースURL
http://127.0.0.1:8080/v1（APIキーとモデル名は任意の文字列でよい） - AnthropicのMessages API互換：
http://127.0.0.1:8080/v1/messages。Claude CodeではANTHROPIC_BASE_URL=http://127.0.0.1:8080を設定します - OpenAIのResponses API互換：
/v1/responses。Codex CLIなどから使えます
思考（推論）の量はoff／low／medium／highから選べます。画像入力はセットアップで有効にでき、AMDのGPUではLinuxでCPUを使って処理し、Windowsでは現時点では使えません。別のPCやスマートフォンから接続する場合は--host 0.0.0.0とAPIキーの指定を組み合わせるよう案内しています。
制約と注意点
READMEと資料は、次の制約を明記しています。
- 起動時に35〜55GBをRAMへ読み込み、一部をGPU用に固定するため、1〜3分ほどPCが遅くなるか反応しなくなることがあります（初回が最も長い）。10分たっても固まったままなら再起動し、小さいサイズを選ぶよう案内しています。
- Coderは残したエキスパートが半分のため、コード以外や英語以外の言語では弱く、中国語などのCJK（中国語・日本語・韓国語）の文章では回答が崩れたりループしたりした報告（#438）があります。一般用途にはすべてのエキスパートを持つQ2_0・IQ2_XS・IQ3_Sを勧めています。
- RAMにエキスパートが収まらない構成では、答えを出しながらSSDから読むため大きく遅くなります。UnslothのUD-Q4_K_XLをRAM 64GB・RTX 5070のPCで使うと毎秒7〜8.5トークンです。
- 既定では同時に1件の要求だけを処理し、他は待たされます。
"parallel": 2で複数件を同時に処理できますが、12GBのGPUでは1件ごとの速度が落ちます。 - 会話の最初の長い入力は全文を読むため、3万トークンあたり約1分かかります。続くメッセージは数秒で始まります。
なお、npaka氏は10月2日のnoteでStrataの仕組みと使い方を日本語で整理しており、公表されている速度は開発側の測定値で、実際の速度はGPU・CPU・RAM・PCIe帯域・コンテキスト長で変わると注記しています。
どう見るか
示されているのは、125B規模のMoEモデルを、VRAM 12GBのGPUと64GBのRAMという構成で、短い会話なら毎秒53〜94トークンで生成できたという開発者自身の測定です。速度の数字は特定のPC（RTX 5070・Ryzen 5 7600・DDR5 64GB、およびRX 9070 XT・Ryzen 9 3900X・47GB）と特定のエンジン版（0.1.26と0.1.36）で、1人が1件ずつ使う条件で測ったものです。CPUやメモリの速さ、PCIeの帯域、VRAMの量が違えば結果は変わり、RTX 3090などの数字は推定にとどまります。リポジトリにはBENCH.bat（bench.sh）が付いており、自分のPCで会話・4K／16Kの入力・エージェント風のやり取りを5〜10分で測れます。
品質については、量子化ファイルを作ったISTA-DASLabが、AIME25・GPQA-Diamond・LiveCodeBench v6などで元のBF16モデルと比べた結果をモデルカードに載せています（例：Q2_0のGPQA-Diamondは89.39、BF16は91.92）。一方、Strata自身の資料が品質を比べている基準は8ビット版（Q8_0）で、比べ方は「最も確率の高い次のトークンが一致する割合」とKLダイバージェンス（確率分布のずれ）です。推奨のIQ2_XSはこの表に含まれていません。また、0.1.42からはNVIDIAのGPUで、GPUにない順位の低いエキスパートを省く設定が既定で有効になっており、資料は出力がわずかに変わることを測定値付きで示しています。READMEの速度表はこの変更より前の版で測ったものです。
Coderの「91%」は、ISTA-DASLabが測ったSWE-bench Verifiedの点数が元のモデル（82.80）に対して75.60だったという相対値で、絶対的な正答率ではありません。Strataが動かしているのは2〜3ビットに圧縮したファイルであり、元のモデルの性能表の数字がそのまま手元で出るとは限らない点を押さえて読む必要があります。
