量子コンピュータ業界 週間まとめ：PasqalのSPAC上場とIBM・HRL買収完了、量子ハードウェアが各地で稼働開始
今週はIBMのHRL買収完了やPasqalのNasdaq上場など企業結合が相次ぎ、日本初のフルスタック中性原子量子コンピュータ「春海」も稼働開始しました。IonQによるCPUのみで…
ローカルLLMの記事一覧
ローカルLLMに関する記事11本を、新しい順に掲載しています。
教えて先生
【教えて先生】GGUFとllama.cppとvLLM ― 同じモデルを動かすのに何が違うのか
モデルを手元で動かす話に出てくるGGUF・llama.cpp・vLLMは、それぞれ役割が違います。箱詰めの形式と、手元で動かす道具と、まとめてさばく道具です。当サイトの実測をもとに、道具がモデルに追いついていないことがあ…
ローカルLLMの現実解と、広がるAIの功罪―検証データと社会統計が語る2026年8月の断面
ローカルLLMのメモリ・速度実測から、falの動画生成モデルH3 Maxを巡るオープン/クローズド論争、AI関連職種における若年層雇用の低下まで、今週のAI関連ニュースをまとめて紹…
ローカルLLM実行の最適解を探る―メモリ配分とハードウェアの現在地
この1週間、ローカルで大規模言語モデル（LLM）を動かすための実測データと新製品情報が相次いで公開された。共通するのは「VRAMに収まらない巨大モデルをどう動かすか」という一点であ…
96GBのGPUで320Bを丸ごと動かす―4層逃がすだけで速度は半分
VRAM96GBのGPUなら、320B級のモデルを丸ごと載せて毎秒67トークンで動かせます。しかし、ほんの少しVRAMが足りずにエキスパート4層をCPUへ逃がすと、速度は半分以下に…
VRAMに載らずGPUとCPUで分担させるとき、速度を決めるのはCPU
大規模言語モデルの生成速度が、GPUとCPUのどちらで決まるかを2台の機械で測りました。モデルがVRAMに収まるうちはGPUが効き、収まらずエキスパートをCPUへ逃がすと、GPUが…
RTX 3090でLLMを実測―毎秒何トークンあれば読む速さに足りるか
大規模言語モデルをローカルで動かしたときの生成速度を、RTX 3090で実際に測りました。35B-A3Bはエキスパートを48層CPUへ逃がしても毎秒32トークン、176Bは1.75…
MoEと量子化でLLMの必要メモリが変化、VRAMとホストRAMを分けて見る必要に
大規模言語モデルをローカルで動かす際に見るべき数字が、VRAM容量だけでは足りなくなっています。vLLM公式レシピが示すQwen3.8-Flash-NextのVRAMとホストRAM…
Perplexity、実行環境ごとローカルで動く「Portable Computer」を発表
2026年8月25日、PerplexityがローカルAI「Portable Computer」を公式Xで発表しました。オーケストレータLLM、サブエージェントLLM、エージェントハ…
Unsloth、Qwen3.8-Flash-Nextを75GBのRAMで動かすGGUF版を公開
Unsloth が2026年8月26日、Qwen3.8-Flash-Next の GGUF 版を Hugging Face で公開しました。UD-Q4_K_XL から UD-IQ1…
Arduinoがボード上でLLMを動かせる新製品「VENTUNO Q」を発表、予約受付を開始
Arduinoが2026年8月25日にVENTUNO Qを発表し、予約受付を開始しました。Dragonwing IQ8とSTM32H5F5を組み合わせ、Qwen 3やGemma 4…