vLLMの記事一覧
vLLMに関する記事1本を、新しい順に掲載しています。
教えて先生
【教えて先生】GGUFとllama.cppとvLLM ― 同じモデルを動かすのに何が違うのか
モデルを手元で動かす話に出てくるGGUF・llama.cpp・vLLMは、それぞれ役割が違います。箱詰めの形式と、手元で動かす道具と、まとめてさばく道具です。当サイトの実測をもとに、道具がモデルに追いついていないことがあ…
vLLMに関する記事1本を、新しい順に掲載しています。
モデルを手元で動かす話に出てくるGGUF・llama.cpp・vLLMは、それぞれ役割が違います。箱詰めの形式と、手元で動かす道具と、まとめてさばく道具です。当サイトの実測をもとに、道具がモデルに追いついていないことがあ…