安徽量子コンピューティング工学研究センターの研究者たちが、超伝導量子コンピュータを使用して10億パラメータのAIモデルの微調整を世界で初めて完了させました。この実験は、国内で開発された72量子ビットチップを搭載した中国の第3世代超伝導量子システムOrigin Wukongで実施されました。量子プロセッサは大規模な並列量子タスクを実行して微調整を加速し、心理的対話と数学的推論の両方のベンチマークで性能を向上させました。
この研究では、モデルパラメータを76%削減した後でも、トレーニングの効果が8.4%向上し、数学的推論タスクの精度が68%から82%に上昇したことが示されました。この結果は、量子リソースが従来のLLMのパラメータ効率チューニングを補完できることを示唆しています。高スループットの量子タスク実行をサポートするチップの能力が、これらの成果を実現する上で重要でした。Origin Quantumによると、このシステムは1バッチあたり数百の並列量子タスクを生成し、ハイブリッド処理を活用して出力を最適化しました。
これは、超伝導量子コンピュータが実用的な10億パラメータの言語モデルの微調整に使用された最初の報告例であり、量子加速によるAIトレーニングの新たな可能性を示しています。2024年1月の稼働開始以来、Origin Wukongは流体力学、金融、生物医学にわたる35万件以上のタスクを完了し、139カ国のユーザーがシステムにリモートアクセスしています。
背景
超伝導量子コンピュータとは、極低温環境で電気抵抗がゼロになる超伝導体を用いた量子ビットで情報を処理する方式です。従来の古典的なコンピュータとは異なり、量子力学の性質を利用して並列計算を行うため、特定の問題において高速な処理が期待されます。
微調整は、すでに大規模なデータで学習済みのAIモデルを、特定のタスクやドメインに合わせてさらに学習させる手法です。ゼロから学習させるよりも少ないリソースで、特定の能力を向上させることができます。
パラメータは、AIモデルが持つ内部の調整可能な数値の総称です。これらを最適化することで、モデルの精度や効率性を高めます。本研究では、パラメータ数を削減しつつも性能を向上させる「パラメータ効率」の改善に成功した点が特徴です。
関連する記事として中国の超伝導量子コンピュータが耐量子暗号アーキテクチャを統合、500+量子ビット量子コンピュータ向け中国第4世代制御システムをOrigin Quantumが発表、Origin Quantumが第4世代量子コンピュータ「Origin Wukong-180」を発表もあわせてご覧ください。
2025年4月7日
