Granite Switch 4.1の発表
IBMは、モジュール式モデル開発を可能にする「Granite Switch」プロジェクトの新バージョンとして、Granite Switch 4.1モデルを発表しました。今回公開された「Granite-Switch-4.1-8B」と「Granite-Switch-4.1-30B」は、1つのホストされたエンドポイントから、自然言語による応答、汎用および専門特化の意思決定、音声書き起こしの各タスクを切り替えて実行できます。
同社によると、このモデルには以下の要素が含まれます。
- 汎用意思決定用の新しい「Decision aLoRA」
- 安全性関連の意思決定タスクで、Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions、Clef-Flashを平均で上回る性能を持つ「Guardian aLoRA」
- OpenASR Leaderboardで最速の音声認識モデル「Granite Speech 5.0 Turbo CTC」
これらの技術はベースモデルとともに1つのモデルに統合され、GPU上のVRAM使用量はベースモデル単体とほぼ同じになります。同社は「より少ないGPUでより多くの機能を実現できる」と説明しています。
効率的なアダプタ構成と高速な切り替え
Granite Switch 4.1のアダプタは「キャッシュ効率的なActivated LoRA」として構築されています。そのため、ベースモデルの生成で作られたKVキャッシュを、後続のアダプタベースの意思決定タスクでも再利用できます。さらに、同チームによるvLLMへの低ランクアダプタ推論の高速化に関する貢献と、同一配置のASRエンコーダにより、チャット要求、意思決定要求、音声要求の間を高速に切り替えられるということです。
同社は、音声から意思決定までの一連の処理を1つのエンドポイントでリアルタイムに実行できるデモ「Speech-to-Decisions HF space」を公開しています。このデモでは、granite-switch-4.1-8bが音声の書き起こし、要約生成、有害コンテンツの選別、その他15のユーザー定義フラグのテストを実行します。
Granite Librariesと専門アダプタの利点
Granite Librariesは、過去のリリースで提供された、専門化された「決定モデル」アダプタやその他のタスク別アダプタのリポジトリです。IBMは、Jevなどのクローズドな意思決定モデルが汎用性を重視する一方で、granitelibの専門アダプタの多くは専門的な分類タスクにおいて汎用モデルを上回るとしています。
アダプタはベースモデルのKVキャッシュを共有するため、汎用意思決定アダプタに専門アダプタを追加するコストはほぼかかりません。汎用アダプタで広いカバレッジを、専門アダプタで重視するタスクの精度を高めることが可能になります。
同社の測定では、Granite-Switch-4.1-30B（凍結したベースGranite + 4つの専門aLoRA）は、Jev-27B（凍結したベースQwenモデル + 1つの汎用決定LoRA）と比較して、実世界の5ステップRAGワークフローをより速く完了したということです。
モデルの構成と拡張
Granite-Switch-4.1-8Bと-30Bは、便利なアダプタをあらかじめ設定した「batteries included」構成で公開されています。一方で、利用者はGranite Librariesからアダプタを組み合わせて、独自のGranite Switchモデルを構成することもできます。
IBMは今後、Melleaでアダプタを訓練するためのAdapter SDKを、チュートリアルやGranite Switchのサポートとともにリリースする計画を発表しています。カスタムアダプタは、意思決定ワークフローを強化する専門分類アダプタや、専門的な言語タスク用のアダプタとして利用できます。同社は、カスタムアダプタを使って3Bパラメータ版のGraniteにクラシックゲーム「Doom」をプレイさせることも可能だとしています。
同社の説明によると、カスタム3BパラメータのGranite SwitchモデルはDoomゲーム内で毎秒60〜100回の意思決定を行い、Jevの報告値である毎秒10回を上回りました。また、Jevと異なり、このGranite Switchモデルはプレイ中にナレーションや質問への応答もできるということです。
どう見るか
今回の発表では、Granite Switch 4.1のモデル構成、同社による性能比較、OpenASR Leaderboardでの最速ASRモデルの搭載、デモとリソースの提供が公表されました。モデルカード、GitHubリポジトリ、デモスペースへのリンクも示されています。
8Bと30BのモデルはHugging Face上でApache 2.0ライセンスで公開されています。Adapter SDKの具体的なリリース日は明示されておらず、IBMは今後数週間でGranite Switchの詳細とデータを追加で公開するとしています。性能比較のうち、Guardian aLoRAの他モデルとの比較やRAGワークフローの速度比較はIBM自身の測定によるものであり、第三者が独立して実施した評価結果はこの資料には含まれていません。
