米OpenAIは2026年10月19日、COBOL、Fortran、Visual Basicなど、学習データが少ない「低リソースプログラミング言語」向けのコーディング性能が向上したと発表しました。同社によると、これらの言語はPythonやJavaScriptに比べてモデルが学習できるコードやドキュメントが少ない一方、世界の重要インフラを支えています。COBOLはオンラインバンキングシステムの40%以上、対面でのクレジットカード取引の80%、ATM取引の95%を支え、Fortranは天気予報や原子炉の安全解析に使われているとのことです。
2つの評価で性能を測定
同社は性能を測るため、2つの評価を開発しました。1つ目の「MultiLangBench」は、モデルが20のプログラミング言語でSQLite互換のデータベースエンジンをゼロから構築できるかを試します。モデルはコードベースの整理、状態管理、エラー処理、既存機能を保ちながらの新機能追加を行います。評価では、データベースファイルを共通インターフェースとして使い、SQLiteのリファレンス実装と照合して結果の正確さを確認します。SQLiteの既存テストスイートをこの形式に適合させており、拡張コーディングセッションでどれだけの機能を構築できるかを、テスト合格率とAPIコストで測ります。
2つ目は、COBOLプログラムをC++、Java、Kotlin、Python、Rustに移行し、各プログラムの動作を保持できるかを試す評価です。COBOLプログラムは金融取引やビジネスレコードを処理することが多く、丸め規則や欠落レコードの処理といった細部が業務要件を反映しています。例えばCOBOLの固定小数点数演算では、明示的に丸めを指定しない限り余分な小数桁を切り捨てます。書き換え時にそれらの値を丸めてしまうと、エラーなく実行できても異なる金融結果を生み出し得ます。このため、観測可能な出力がバイト単位で一致するかを隠しテストで検証し、すべてのテストに合格した場合のみ移行成功とみなします。
MultiLangBenchの結果
同社の測定では、最大推論努力において、GPT-6 Astraは20言語の平均テスト合格率が87.4%に達し、GPT-5.6 Solの26.8%から改善しました。すべての言語で改善が見られ、COBOLは10.9%から72.1%、OCamlは25.6%から85.8%、Fortranは21.4%から83.5%、Visual Basicは27.5%から89.4%となりました。Astraは20言語中19言語で83%以上を記録し、COBOLが最も難しい言語として72%にとどまりました。
低コスト版のGPT-6 Lunaも、すべての言語でGPT-5.6 Solを上回りました。最大推論努力での平均合格率は40.3%で、COBOLは10.9%から17.1%、OCamlは25.6%から34.1%、Fortranは21.4%から31.4%、Visual Basicは27.5%から41.6%に改善しました。推定APIコストはサンプルあたり平均0.77ドルで、GPT-5.6 Solの3.48ドルと比較して約78%低いとしています。
同社はMultiLangBenchの評価セットとテストスイートをGitHubで公開し、各言語の結果も示しています。開発者は評価の内容を確認し、自分たちが使う言語での性能を検討できます。
COBOL移行評価の結果
COBOL移行評価では、GPT-6.1 Solが低い推論努力の設定で86.6%の精度でした。同じ設定のGPT-5.6 Solは5.4%で、GPT-6.1 SolのAPIコストはGPT-5.6 Solの61%（39%少ない）だったとしています。高推論努力では精度が97.9%に達し、評価がほぼ飽和状態になったとしています。同社は、これらの結果は老朽化したシステムを維持・近代化するチームにとって、より正確で手頃なコード移行への進歩を示すとしています。
どう見るか
示された数字はすべてOpenAIの自社評価です。MultiLangBenchは評価の仕組みとテストをGitHubで公開しているので、外部の開発者が同じ条件で確かめることができます。一方、COBOL移行評価は隠しテストを使っていて、問題やテストは公開されていません。97.9%は高い推論努力の設定での値で、同じ設定でのコストは示されていません。
比べている相手は、いずれも前の世代のGPT-5.6 Solです。MultiLangBenchの87.4%（GPT-6 Astra）と40.3%（GPT-6 Luna）は、どちらも最大の推論努力での値です。コストが示されているのはLunaだけで、Astraのコストは書かれていません。
OpenAIは、最新のモデルはAPIで試せるとしています。そのうえで、本番のシステムに使うには、専門家によるレビューと、業務ルールや依存関係に照らしたテストが今も必要だと書いています。
