LiquidAI、推論特化型MoEモデル「LFM2.5-24B-A2B」を発表——2B活性で高速オンデバイス推論

LiquidAI、推論特化型MoEモデル「LFM2.5-24B-A2B」を発表

LiquidAIは、推論特化型のMixture-of-Experts（MoE）モデル「LFM2.5-24B-A2B」を発表しました。総パラメータ数は24B、各トークン処理時に活性化するパラメータはわずか2Bで、オンデバイスでの高速・プライベートなAIエージェント実行を目的としています。モデルは回答前に思考を生成し、ツール呼び出しやマルチステップのタスク処理に対応します。オープンウェイトでHugging Face上に公開されています。

同モデルは前世代のLFM2-24B-A2Bのアーキテクチャを踏襲し、40層、MoEブロックあたり64エキスパート（top-4ルーティング）、ゲート付き短畳み込みとGQAのハイブリッド構成を採用しています。コンテキストウィンドウは32Kから131Kトークンに拡大し、トークナイザーの拡張により語彙数は65Kから128Kトークンに倍増しました。前世代と異なり、推論専用モデルとして明示的な思考連鎖を最終回答の前に生成します。

学習プロセスとエージェント化の5段階

事前学習は約17Tトークンから約33Tトークンに拡大されました。中間学習では32Kコンテキストで2Tトークン（推論、数学、コード、指示追従、多言語テキスト中心）、131Kコンテキストで300Bトークン（長文コンテキスト中心）を追加しました。ツール呼び出しとマルチターン対話のデータは両フェーズに含まれます。

事後学習では、以下の5段階でベースモデルをエージェント化したとしています。
1. 教師ありファインチューニング（SFT）
2. 教師モデルの専門化
3. 非エージェントタスク向けのマルチドメイン・オンポリシー蒸留（MOPD）
4. エージェントタスク向けのMOPD（第2段階）
5. エージェント強化学習（OpenClaw、Hermes Agent、Pi、OpenCodeなどのエージェントハーネス内での学習）

ベンチマーク結果と推論速度

同社によると、LFM2.5-24B-A2Bはツール使用・エージェントワークフロー系8ベンチマークのうち5つ（AutomationBench、BFCLv4、ToolSandbox、LiveClaw、τ³-Bench Banking）で比較モデル群をリードまたは同等のスコアを達成しました。AutomationBenchでは27.69を記録し、次点モデルの8.72の3倍以上のスコアとなっています。指示追従系3ベンチマーク（IFEval 96.75、IFBench 74.69、Multi-IF 84.38）でもすべてリードしました。

推論速度では、同社の測定でApple M5 Max上で毎秒184トークン、Ryzen AI Max+ 395上で毎秒114トークンを記録し、比較したMoEモデル群の中で最速としています。これは次点モデルより最大1.7倍高速で、メモリ使用量は最小だと述べています。GPU推論では、NVIDIA B300単体で高並列時に毎秒21,000出力トークン以上を達成します。

利用方法とエコシステム対応

LFM2.5-24B-A2Bは、llama.cpp、MLX、vLLM、SGLang、ONNXなど推論エコシステムで初日からサポートされます。OpenAI互換のバックエンドでローカルにサーブし、OpenClaw、Hermes Agent、Piなどのエージェントハーネスに接続できます。

モデルはHugging Face上でLFM2.5-24B-A2B（推論モデル）とLFM2.5-24B-A2B-Base（ベースモデル）の両方がオープンウェイトで公開されており、ファインチューニング用のチュートリアルも提供されています。

どう見るか

今回の発表では、LFM2.5-24B-A2Bのアーキテクチャ、学習方法、ベンチマーク結果、推論速度、利用方法が公表されました。モデル自体はオープンウェイトでHugging Face上に公開されており、誰でもダウンロードして利用できます。

一方で、資料にはベンチマーク結果が記載されていますが、評価主体の明記はありません。第三者の独立した測定結果は資料に含まれていません。また、資料ではモデルカードやガイドへの言及はありますが、ライセンス条件やハードウェア要件の詳細がそこに含まれるとは述べられていません。