発表の概要
ServiceNow CoreAIは2026年10月2日、企業エージェント向けの訓練データを自動生成するパイプライン「AutoSynthData」を発表しました。同社によると、これは企業環境におけるエージェントの能力ギャップを特定し、そのギャップを埋めるための訓練データを生成・検証する仕組みです。
企業のエージェントは、使用するシステムや従うべきルール、データの状態によって成果が左右されます。汎用的に優れたモデルであっても、特定の環境ではワークフローを適切に処理できなかったり、ツールの組み合わせを誤ったり、制約を守れなかったりする場合があります。AutoSynthDataはこうした弱点を訓練データに変換することを目的としています。
タスク生成の仕組み
AutoSynthDataは、対象モデルの失敗と、より高性能な教師モデルの成功を分析し、モデルが次に学ぶべき能力を決定します。分析結果は「能力仕様カード」として整理され、これに基づいて新しいタスクが生成されます。生成段階では評価タスクの元のプロンプトやエンティティ、軌跡、検証器の詳細は渡されず、カードのみが参照されます。
生成された各タスクは、環境内で実行可能であり、ユーザーが実際に依頼しそうな内容であり、かつ現在のモデルがまだ安定して解けない難易度であることが要件とされます。さらに、正しい解を受理し、誤った解を拒否する検証器が各タスクに付与されます。
データセット構築は「ターゲット」と「マルチプライ」の2段階で行われます。ターゲット段階では能力仕様からコアとなる訓練サンプルを並列生成し、マルチプライ段階では受理済みサンプルの新規変種を展開します。各候補は検証、実行、ソルバー評価、修正を経て受理されます。
品質管理と検証
AutoSynthDataは、サンプルレベルの検証とバッチレベルのレビューの2段階で品質を管理します。サンプルレベルでは、意図した解が実際にタスクを解決するか（ポジティブ検証）と、誤った結果が不合格となるか（ネガティブ検証）を確認します。不合格となった候補は批評役（critic）による診断を経て修正されますが、再試行回数には上限が設定されています。
バッチレベルでは、受理済みサンプルと拒否されたサンプル、生成挙動をメタレビューし、特定のタスクファミリーへの過度な集中や能力次元の欠落を検出します。コントローラーは受理データセットのカバレッジを追跡し、過剰生成された領域では生成を減らし、不足している領域にリソースを振り向けます。
EnterpriseOps Gymでの実験結果
同社はEnterpriseOps GymのHybrid領域とITSM領域で実験を行いました。Hybrid領域ではGemma-4-26B-A4B-itを対象モデル、Qwen3.8-27Bを教師モデルとして使用し、2,000件の合成訓練サンプルを約18時間で生成しました。
| 指標 | ベースライン | 合成SFT後 |
|---|---|---|
| Hybrid Pass@1（平均） | 非公表 | +7.2ポイント（相対35%向上） |
| Hybrid 検証器成功率 | 63.01% | 68.55% |
同社の測定では、合成SFTチェックポイントはGemmaと参照モデルとの元のPass@1の差の59%を埋めたとしています。
ITSM領域ではDeepSeek-V4.1-Flashを教師モデルとして1,994件のサンプルを生成し、Pass@1が18.77%から27.18%に向上しました。生成には66時間を要しましたが、同社はこれはより大きな教師モデルを使用したことと、パイプライン最適化の前に行われたことが理由だと説明しています。
どう見るか
今回の発表で公表されたのは、AutoSynthDataのパイプライン構成、品質管理手法、およびEnterpriseOps Gymにおける実験結果です。実験結果はServiceNow CoreAI自身による測定で、第三者による検証は示されていません。
公表されていない情報としては、パイプラインの提供形態（オープンソースか商用か）、利用可能な時期、価格、および生成された合成訓練データそのものの公開予定や具体的な内訳が挙げられます。また、今回の実験は教師あり微調整（SFT）に限定されており、強化学習への応用は計画段階であるとされています。Hybrid領域のベースラインとなるPass@1の絶対値も明示されていません。
