Black Forest LabsのFLUX.3 Image Klein、Diffusersで利用可能に——1モデルで生成・編集・レイアウト制御

発表の概要

Black Forest Labsの画像生成モデル「FLUX.3 Image Klein」が、Hugging FaceのDiffusersで利用できるようになりました。テキストから画像を生成するだけでなく、複数の参照画像を使った画像編集や、バウンディングボックスによるレイアウト制御を1つのモデルで行えます。モデルはHugging FaceのDiffusersパイプライン（Modular Diffusers）として提供され、Hugging Faceのブログ（2026年10月15日公開）で使い方と技術詳細が紹介されました。ブログでは「Diffusersで初日から動作する」と説明しています。

主な機能

• テキストから画像生成: 蒸留チェックポイントは16ステップで1024×1024画像を生成します。プロンプトには被写体、設定、光、構図、スタイルを指定します。
• 画像から画像編集: 1枚以上の参照画像を渡し、プロンプトに変更内容を記述します。複数参照時は<ref_image_0>、<ref_image_1>などのタグで参照します。
• レイアウト制御: プロンプトにJSONリストで領域を指定できます。各領域はid、bbox、descを持ち、バウンディングボックスは[y_min, x_min, y_max, x_max]の0〜1000スケールで記述します。参照画像内の領域を移動する編集にも対応します。

提供形態とファインチューニング

チェックポイントは2種類あります。蒸留版は高速推論向けで16ステップ、ベース版は50ステップでCFG（分類器なしガイダンス）を使います。量子化ウェイトとしてNVFP4とFP8を単一ファイル形式で提供し、from_single_fileで読み込めます。NVFP4はBlackwell GPU、FP8はAda・Hopper・Blackwell GPUで高速に動作します。

LoRAファインチューニング用のDreamBoothスクリプトが、テキストから画像と画像編集の両方で提供されます。メモリ削減オプションとして勾配チェックポイント、キャッシュラテント、8ビットAdamなどがあります。

パフォーマンス（測定条件）

以下の数値は、Hugging Faceのブログに掲載された蒸留版（16ステップ）の測定結果で、NVIDIA H100 80GB 1枚、オフロードなし、デフォルトのアテンションバックエンドで、ウォームアップ後に3回実行した平均です。

参照画像を追加すると、参照画像のトークンがテキストや生成画像と同じシーケンスに加わるため、処理時間がおよそ2倍になります。モデル読み込み後のピークメモリは、ウェイトの種類によって異なります（NVFP4で13.4 GiB（RTX6000）、FP8で14.35 GiB（H100）、BF16で18.80 GiB（H100））。推論後のピークはそれぞれ15.3、16.27、20.72 GiBです。

アーキテクチャの要点

• 潜在空間のフローマッチングモデルで、FLUX.2と同じ構造のVAEを使用します。画像は16×16ピクセルごとに1トークンに圧縮されます。
• テキストエンコーダーはQwen3-VLで、8層の隠れ状態をスタックして20,480次元に拡張し、その後線形層で3072次元に投影してからトランスフォーマーに入力します。
• トランスフォーマーは2段階構成です。第1段階ではテキスト・画像・参照画像がそれぞれ独立したブロックで処理され、第2段階で1つのシーケンスに結合されます。
• 各トークンはタイムステップ変調を持ち、参照画像は常にタイムステップ0として扱われます。蒸留版は追加のタイムステップ埋め込みで大きなジャンプを行います。
• 位置エンコーディングは4次元のRoPE（タイムステップ、高さ、幅、シーケンス長）を使用し、参照画像と出力画像で同じ座標系を共有します。

どう見るか

今回の発表では、モデルのチェックポイント、量子化ウェイト、LoRA訓練スクリプト、アーキテクチャの詳細が公表されました。速度とメモリの数値は、Hugging Faceのブログ執筆者が測定条件（H100 80GB 1枚など）を明記して示したもので、Black Forest Labs以外の第三者による比較測定ではありません。チェックポイントはHugging Face上で利用申請制で公開されており、モデルページには独自の「FLUX Kommunity License」が設定されています。ブログで紹介されたHugging Face Spaceで試すこともできます。