アブダビの技術革新研究所（Technology Innovation Institute, TII）は、アラビア語の方言の一つであるアミール方言（UAE方言）に特化した大規模言語モデル（LLM）「Falcon-Emirati-7B」を発表しました。同社のアラビア語モデル「Falcon-H1-Arabic」を基盤に、方言の語彙や文法、文化的な文脈の理解と生成に焦点を当てたモデルです。
Falcon-H1-Arabicを基にした開発
Falcon-Emirati-7Bは、TIIが今年初めに発表したアラビア語モデル「Falcon-H1-Arabic」を基に開発されました。Falcon-H1-Arabicは、State Space Models（Mamba）とTransformerアテンションを並列に動作させるハイブリッドアーキテクチャを採用しており、長いシーケンスに対する線形時間の効率性と、長距離依存関係に対するアテンションの精度を両立しています。同モデルは3B、7B、34Bパラメータの3規模で提供され、コンテキストウィンドウは最大128K、256Kトークンに対応します。
TIIは、34Bモデルは品質をさらに向上させる可能性があるものの、訓練と推論のコストが方言特化型のチャットモデルには適さないと判断しました。3Bモデルでは文化的・言語的理解に必要な深さを確保できないとして、品質とコストのバランスが取れる7Bモデルを採用しました。
方言適応の難しさとデータ戦略
同社によると、アミール方言は主に話し言葉で使われることが多く、現代標準アラビア語（MSA）に比べてオンライン上のテキストデータが少ないです。また、慣用句や詩的な表現など、文字通りの意味に依存しない文化的な文脈を理解する必要があります。さらに、方言適応のための標準的な手法が確立されていないため、データの混合比率や訓練段階を試行錯誤しながら開発を進めたということです。
データ構築では、①アミール方言で書かれたウェブサイトやフォーラムからの収集データ、②アミール文化やアイデンティティに関するMSAのテキスト、③アミール方言の語彙と文法に関する厳格なルールと用語集で制約した合成データの3つを組み合わせました。合成データの生成では、モデルが「Gulf風」のアラビア語を即興で生成しないよう、専用の用語集とスタイルルールで制約したとしています。
評価結果と比較
TIIは、アミール方言の能力を評価するために、ネイティブスピーカーが手作業で収集した1,173問の多肢選択式ベンチマーク「Alyah（الياه）」を用いました。Falcon-Emirati-7Bはこのベンチマークで84.83%を記録し、同社が比較した他のアラビア語モデルや多言語モデルを上回りました。同社は、モデルサイズの大きさだけでは方言能力は向上せず、方言に特化した訓練が必要であると述べています。
また、同じAlyahの質問に対する自由生成形式の応答をLLM判定（Gemini 3.7 Flash）で評価した結果では、Falcon-Emirati-7Bは正答率で他モデルを上回りましたほか、応答がアミール方言で返される割合（方言忠実度）が0.52（部分点）で、比較した他の4モデル（0.05、0.03、0.02、ほぼ0.00）を大きく上回りました。同社は、他のモデルは正しい内容を現代標準アラビア語で答える傾向がある一方、Falcon-Emirati-7Bは質問された方言で回答できるとしています。
さらに、アラブ文化の理解を評価するベンチマーク「ArabCulture-Dialogue」のUAE部分（283シナリオ）では、Falcon-Emirati-7Bは85.57%を記録し、比較した他3モデル（83.39%、73.79%、71.50%）を上回りました。
提供と制限
Falcon-Emirati-7Bは、TIIのチャットプラットフォーム（https://chat.falconllm.tii.ae/?model=Falcon-Emirati-7B）で利用できます。
同社は、あらゆる言語モデルと同様に、Falcon-Emirati-7Bも訓練データに含まれるバイアスを反映する可能性があり、特に稀な表現や極めて局所的な言及については誤りを含み得るとしています。
どう見るか
今回の発表では、Falcon-Emirati-7Bのアミール方言における理解力と生成力が、同社の測定に基づくベンチマークスコアとして公表されました。AlyahやArabCulture-Dialogueでの数値は、比較対象となったモデルとの相対的な位置づけを示すものです。
一方で、モデルの重みやコードが公開されているか、APIやオンプレミスでの提供形態、価格などについては資料に記載がありません。また、評価結果は同社による測定であり、独立した第三者が再現した結果は示されていません。チャットプラットフォームでの利用は可能ですが、その利用条件や商用利用の可否も明記されていません。
