AI研究機関のAi2（Allen Institute for AI）は、科学文献を基に引用付きレポートを生成するオープンウェイトモデル「AstaBrief 8B」を公開しました。研究質問と取得した文献の抜粋を入力として、引用付きのレポートを一度の処理で生成します。同社のエージェント型科学プラットフォーム「Asta」の「Generate a report」機能において、Claudeを搭載した「Thinkingモード」に加え、新たに「Fastモード」として提供されます。モデルウェイトと訓練データに加え、研究者が自身のPDFからレポートを生成できるワークフローの例も公開されました。
訓練データと手法 AstaBrief 8Bは、Qwen3-8Bをベースに構築されました。同社は、強化学習を用いず、教師ありファインチューニング（SFT）と直接選好最適化（DPO）というよりシンプルな手法に焦点を当てたと説明します。訓練には、Astaの実ユーザーから収集した9万件の研究クエリを使用しました。そのうち、Claude 3.5 Sonnet、Claude 3.7 Sonnet、o3、o4-mini、GPT-4.1などの複数のプロプライエタリモデルを用いてレポートを生成し、品質フィルタリングを経て4万7千件のSFT用データを作成しました。
DPO用には、SFT用とは別のクエリからレポートのペアを構築しました。一方は既存パイプライン、もう一方はo3、o4-mini、DeepSeek-V3、DeepSeek-R1のいずれかで生成し、GPT-4.1とDeepSeek-R1の2つの判定モデルが両者を比較しました。判定モデルは人間の選好と95%一致することを確認し、両判定モデルの判断が一致したペアだけを残しました。品質フィルタリング後の最終的なDPOデータは約6千件です。
引用の品質を高めるフィルタリング 開発中の評価では、初回のSFTモデルは回答精度と引用品質でClaudeベースのパイプラインに及びませんでした。同社は、合成トレーニングデータの質を高めるため、4つの統計ベースのフィルターを試験しました。
- 出力と入力のトークン比: 入力に対して出力が多すぎるものはノイズが多いと判断
- 引用関連性: 引用された論文の検索関連性スコアの平均
- 引用密度: 少なくとも1つの引用が付いた記述の割合（低いものを除外）
- 引用多様性: 検索で得た論文のうち、回答で引用された論文の割合
最も効果が大きかったのは、引用密度の低い合成レポートを除外することでした。同社は「より強いフィルタリング、フィルターの組み合わせ、学習率の探索では、意味のある改善は得られなかった」と述べています。
評価結果と速度 開発時の評価では、AstaBrief 8Bは回答と引用の品質に関する複数の指標で、Claudeベースのパイプラインや同社のDR Tuluと競合する結果を示しました。14問の人間による研究では、3人の科学研究者が3つのシステムのレポートを比較し、全体的な好みではDR Tuluが勝ちましたが、引用精度の指標では3人中2人の研究者がAstaBrief 8Bを他のシステムより好みました。
同社の測定では、Astaのパイプライン全体で、Fastモードは1レポートあたり平均51.1秒で生成し、Thinkingモードの178.5秒と比較して約3.5倍高速でした。同社によると、Thinkingモードが使う抜粋の要約・クラスタリング段階を省き、セクションごとではなく一度のパスで全文を生成するよう訓練したことが高速化につながりました。
