ジャック・ドンガラ氏、ISC 2026の基調講演で変化するHPCの世界について語る

オリジナル記事「Jack Dongarra Discusses a Changing HPC World in ISC 2026 Closing Keynote」

6月25日、ドイツのハンブルクで開催されたISCで、初めて基調講演を行ったジャック・ドンガラ氏によると、HPCの世界は変化しつつあるという。ハードウェアやソフトウェアの変化から、AIを基盤とした科学技術の台頭に至るまで、HPCの旧来の秩序は新たなものに取って代わられつつある。問題は、HPCの専門家たちが今後どのような道筋を描いていくべきかということだ。

HPCが変化している第一の要因は、ハイパースケーラーの台頭だ。彼らは市場の他の部分に大きな影響力を及ぼしている。ドンガラ氏が所属するオークリッジ国立研究所に設置された「Frontier」のようなTOP500リストに名を連ねる大規模クラスタでさえ、ウェブ大手やAI企業が導入している巨大システムの前では見劣りしてしまう。

「テネシー州のメンフィスに、『Colossus2』と呼ばれるコンピュータが構築中だ。研究所ではなくメンフィスにあるこのシステムには、エヌビディア Blackwell 200 GPUが100万枚搭載される予定だ」と、ドンガラ氏はハンブルク・コングレスセンターの聴衆に語った。「そのマシンのコストは300億から450億ドル程度だ。そして、消費電力、つまりこれらのシステムが使用するエネルギーを見てみると、実に驚異的だ。メンフィスにあるそのシステムだけで約200ギガワットを消費し、稼働させるだけで年間約18億ドルのコストがかかるのだ。」

ハイパースケーラーの企業価値は、これまでHPC分野を牽引してきた従来のテクノロジー企業よりも桁違いに大きい。Google、Amazon、Microsoft、Metaはいずれも企業価値が数兆ドル規模であるのに対し、Intel、AMD、HPE、IBMといった企業の企業価値は数千億ドル規模にとどまっている。エヌビディアは企業価値5兆ドルという、他を圧倒する存在だ。

「AIへの投資は今や、数千億ドル規模の資金が渦巻く状況にある」と、ドンガラ氏は「変革期のハイパフォーマンスコンピューティング」と題した基調講演で述べた。「これは、一部の最大規模の国々でさえも、真に大きな課題となっている。」

	テネシー州メンフィスに建設中のxAIの新しいデータセンター「Colossus 2」には、10億個のGPUが設置される予定だ（画像提供：SELC）

「Colossus」型のギガワット規模のデータセンターは、消費者向けのコンテンツ生成から科学的発見の推進に至るまで、幅広いユースケースに対応する最先端のAIモデルを学習・実行するために建設されている。もちろん、チューリング賞受賞者が関心を寄せているのは、後者の方だ。

「こうした企業に関しては驚くべき状況にあり、HPCは今まさに生成AIと融合しつつある」と彼は述べた。「物理ベースのモデリング、偏微分方程式、離散化といった演繹的な世界が、サロゲートモデルという帰納的な世界によって補完されつつあるのだ。」

これらのサロゲートモデルは非常に有用だとドンガラ氏は述べた。これらはパラメータ空間の探索に優れており、それによって従来のモデリング・シミュレーションの実行を高速化できる。また、一部の問題に対してはモデル単体で運用され始めており、その価値を徐々に示し始めている。

「AIは10日先の予報をかなり正確に予測できる。しかも、従来の演繹的な手法で数時間かかる作業を、わずか数秒でこなせる」と彼は語った。「生物学の分野では、タンパク質の折り畳みについて知られている。AlphaFoldや、3次元構造を正確に予測したその他の非常に印象的な成果に対して、ノーベル賞が授与されたこともある。」

こうしたAIベースの科学的手法は、十分に理解されている問題領域で使用される限り、有用である。しかし、新規の研究分野にAI技術を適用することは危険地帯だと、ドンガラ氏は警告した。「既知の概念にこれらのアイデアを適用すれば、すべてはうまくいく」と彼は述べた。「だが、その領域から一歩外に出ると、実際には多くの問題に直面することになるのだ。」

AIブームはプロセッサの開発にも影響を及ぼしており、ドンガラ氏は、2022年にリリースされた「Hopper」チップから、2024年の「Blackwell」、そして現在の「Rubin」に至るまで、エヌビディアのGPUの進化を追跡した。同氏は、エヌビディアが低精度ハードウェア、具体的にはFP16テンソルコアとBF16テンソルコアの性能向上に注力してきたことを示した。しかし、エヌビディアの顧客にとっては、HopperからRubinにかけて64ビットFMA（融合乗算加算SIMD命令）の機能に実質的な変化は見られない一方で、FP64テンソルコアの性能は半減している。

「したがって、64ビット浮動小数点演算の観点から見れば、ハードウェアの状況は芳しくないと言わざるを得ない」とドンガラ氏は述べた。「その点において、性能の向上は見られない。」

一方で、他の演算の性能は大幅に向上している――ただしINT8を除く。INT8はエヌビディアの最新チップで性能が低下しているが、これは「AI分野で需要がなくなったためだ」とドンガラ氏は説明した。「当然ながら、チップ上のリソースはそうした他の演算に割り当てられている。これが現在のエヌビディアの状況であり、これを効果的に処理できるアルゴリズムを設計するために、数学の分野における我々の技術を活用する必要があるという点を、まさに浮き彫りにしているのだ。」

ハードウェアの性能も変化している

朗報なのは、HPCにおいて、浮動小数点演算の純粋な処理能力が、かつてほど決定的な要素ではなくなっていることだ。その代わり、多くのHPCワークロードの成否を左右するのは、エネルギー消費とデータ移動である。

「データ移動こそが鍵であり、それが処理の足かせとなっている」とドンガラは述べた。「もう一つの問題は、システムがスケールアップするにつれて、電力要件も同様に増加することだ。」

浮動小数点演算（FLOPS）と、データ移動のボトルネックおよびエネルギー壁との間のこの不均衡は、HPCGベンチマークに反映されている。このベンチマークは、純粋な演算能力を反映するLinpackベンチマークとは対照的に、実世界のHPCワークロードを反映するように開発されたものだ。

ドンガラ氏は、HPCGベンチマークの上位を占めるスコアが極めて低いことを嘆いた。その大半はシステム利用率が1％を下回っている。その2つの例外は、理論上のピーク性能の3％に達した「富岳」を含む日本の2台のマシンと、2.5％に達した別のシステムである。

エネルギー面では、現在、世界全体の電力消費量の5％がデータセンターに費やされており、この割合は近い将来7％から12％に増加すると予想されている、とドンガラ氏は述べた。「おそらく、新たな評価指標が必要なのかもしれない。そして、その指標は、ビジネスを行う上でFLOPsを基準とするのではなく、『信頼できるソリューション1つあたりのジュール』といったものになるかもしれない」と彼は語った。

「ベンチマークは実際には過去を振り返るものだ」とドンガラ氏は続けた。「未来を見据えているわけではない。ベンチマークは、物事がこれまでどうだったかを振り返るための鏡を提供してくれるに過ぎない。そして、将来何をするべきかを示す指針は提供してくれないのだ」

LineShineはTOP500リストで1位を獲得した

TOP500リストのような今日広く用いられているベンチマークは、スーパーコンピュータの調達方法に影響を与えている。それらは新しいシステムがどうあるべきかという期待値を設定し、意思決定者に目指すべき目標を与える。しかし残念ながら、こうしたベンチマークは進歩を妨げているとも、ドンガラは述べた。

「我々はマシンについてRFP（提案依頼書）を出し、ベンダーはその予算額とピーク性能レベルを満たすシステムを構築する。そして、実際に我々が手にするのはまさにそれだ」とドンガラ氏は述べた。「彼らは市販のコンポーネントを使ってそれを実現する。なぜなら、そうすることでコストを最小限に抑えられ、かつ性能レベルを高く引き上げられる可能性があるからだ。」

スーパーコンピュータ研究所は市販の汎用コンポーネントでやりくりせざるを得ない一方で、ハイパースケーラー各社には、特定のニーズを満たすカスタムプロセッサを構築するための資金と能力がある。マイクロソフトには「Maia」、Amazonには「Trainium」、Googleには「TPU」がある。数兆ドル規模の企業価値があるおかげで、彼らは共同設計に取り組む余裕があるのだ。これはドンガラ氏にとって、特に不満に思っている点の一つであるようだ。

「誰もが共同設計システムの導入について語っている。共同設計とは、ハードウェア、ソフトウェア、アプリケーションを総合的に考慮してマシンを同時に開発することを指す。アーキテクトと数学者、コンピュータサイエンスの専門家、そしてその分野の科学者を一堂に集め、彼らに協力して…その分野の科学者のニーズを満たすマシンを設計させることだ」と彼は述べた。「しかし、実際にそのような状況が実現することはめったにない…科学の分野において、そうした設計は本当に例外的な存在だ。」

ドンガラ氏は、共同設計の例として、深センにある中国のスーパーコンピュータセンターが開発した新しい「LineShine」システムを挙げた。中国側は、LineShineが実行するAIやモデリングのワークロードをサポートするために必要なベクトルおよび行列処理機能を実現するため、ARMv9プロセッサを改造し、SVEおよびSME拡張機能に対応させた。ドンガラ氏は、これがGPUを使わずに高性能なHPCシステムを構築する方法のモデルとなり得ると述べた。

多くのHPCシステムに見られる画一的な性質や、新しいコンピュータアーキテクチャの探求に伴うリスクを冒そうとする意欲の欠如も、ドンガラの懸念事項の一つだ。

「私が学生だった頃、大学ではアーキテクチャの進歩を促進するために、さまざまなアーキテクチャを検証する実験的なマシンが数多く作られていた」と、彼は講演終了後の質疑応答で語った。「ILLIACのようなマシンや、MIT、スタンフォード、ワシントン大学などで開発されたシステムなど、多くの場所で、当時としては画期的に異なるハードウェアアーキテクチャの設計が行われていた。しかし、今日ではそのような動きは見られない。」

「ハードウェア設計においては、もっと実験を重ね、もう少しリスクを冒す必要がある」とドンガラ氏は述べた。「そのような実験、つまり答えが分からないまま進める実験がもっと必要だと思う」と彼は語った。「その中には失敗するものもあるだろうが、この状況では失敗しても構わないのだ。」