AIと電力：グリーンHPCの今後は？

オリジナル記事「AI and Power: Where Does Green HPC Go from Here?」

HPCコミュニティは過去25年間でエネルギー効率において大きな進歩を遂げ、TOP500システムにおけるワットあたりのギガフロップスは100倍向上した。しかし、生成AIの登場は電力消費とシステム・ソフトウェアの相対的効率の両面でゲームのルールを変えつつある。AIはHPCのエネルギー効率の終焉を意味するのか？

簡潔に言えば「否」だが、いくつかの注意点がある。バージニア工科大学先進計算研究所の責任者でありGREEN500リストの共同創設者であるカーク・キャメロンによれば、HPCシステムの効率化には依然として多くの課題が残されている。

「私の知る限り、まだ解決されていません」とキャメロンはセントルイスで開催されたSC25でのプレゼンテーションで冗談めかして述べた。「私の仕事はまだ終わっていません。」

キャメロンとバージニア工科大学の同僚であるウーチュン・フェンは、HPCにおけるエネルギー効率化の必要性に対する認識を広め、改善を推進する手段として、2006年にGREEN500リストを創設した。キャメロンはこのテーマを長年研究してきたが、ごく少数の研究者を除けば、この分野への関心は事実上皆無だった。

「2001年当時、グリーンHPCやエネルギー比例型コンピューティングの概念は未知だった」とキャメロンは2013年のHPCwire記事で記している。「スーパーコンピュータにおいて電力が問題であるという具体的な証拠は存在しなかった。ベンダーは単に顧客仕様に基づいて大規模システムを構築していた。性能は指数関数的に向上し続け、性能効率は関心事であったが、電力効率はそうではなかった。」

	キャメロンの研究の多くは、彼が約20年前に指摘した「効率性のギャップ」を埋めることに注がれてきた （画像提供：カーク・キャメロン）

「私の問題ではない」

当時、HPCコミュニティの大半は、自らが運用するシステムが電力をいかに効率的に使用しているか、またその使用が持続可能かどうかを気にかけていなかったと、キャメロンはSC25でのプレゼンテーションで述べた。それは業界や政府、学術研究所が解決する些細な問題だという前提があったのだ。

キャメロンとフェンはそれを信じず、HPCシステムの効率化には膨大な作業が必要だと予見していた。しかしHPCには有利な点もいくつかあり、特にHPCシステムの性質自体が効率化に適していた。そこで彼らは対策に乗り出した。

最初のステップはデータ収集だったが、当時はシステムに電力消費を必要な精度で計測する機能が備わっておらず、困難を極めた。「当時、機器が実際に消費する電力に関する情報は非常に乏しかった」とキャメロンは語る。

電力消費データが収集されると、HPCシステムの潜在的な効率と実稼働システムで実証された効率との間に、大きな効率格差が存在することが明らかになった。多くのスーパーコンピュータは50～60%の電力効率を達成可能であったにもかかわらず、実際には10～20%の範囲で稼働しているケースが多かったのである。

「傾向は明白で反論の余地がない」とキャメロンは2013年に記している。「スーパーコンピュータの処理能力は足枷であり、間もなくスケーラビリティの限界となるだろう。もちろん、スーパーコンピュータの処理能力が根本的な制約であると広く認識されるまでには、ほぼ4年を要した。私は忍耐強くなることを学んだと言っておこう。」

100倍の効率向上

効率曲線に影響を与えるのは全く別の話だ。キャメロンが提唱するアプローチは、HPCワークロードそのものの中にエネルギー浪費を削減する機会を見出すことである。エネルギー浪費の一因はアイドル状態のCPUだ。スーパーコンピュータは数時間から数日にわたりフル稼働するよう設計されているが、そのワークロードは均一でも静的でもない。

GREEN500掲載システムのエネルギー効率は過去15年間で100倍向上した（画像提供：カーク・キャメロン）

システムがバス上のメモリ間やネットワーク経由でデータを移動している際にCPUがアイドル状態になるタイミングを特定することは、容易に得られる成果の一つであった。「これらは省エネルギーとエネルギー効率向上の好機だ」と彼はSC25で述べた。

20年が経ち、キャメロンとフェンの研究は実を結んだ。HPCコミュニティは30メガワット以下の消費電力でエクサスケール障壁を突破した。
さらに、GREEN500リスト掲載システムの平均効率は20年前と比べて100倍向上している。確かに消費電力は指数関数的に増加したが、ギガフロップス単位の処理能力はさらに急速に成長したのだ。

「リスト全体の効率が2桁改善した」とキャメロンは感慨深げに語った。「これは非常に印象的だと思う。」

2025年11月、GREEN500リストの効率トップ5システム（全てエヌビディア GH200スーパーチップとQuad-Rail Invidia InfiniBand NDR200インターコネクトを搭載したBullSequana XH3000システム）が初めて、電力効率指標で68.5ギガフロップス/ワットを超えるスコアを記録した。今後もさらなる効率向上が期待されている。

「これは長年にわたりエネルギー効率化に取り組んできた全ての人々への賛辞です」とキャメロンは述べた。「我々は多くの仕事を成し遂げました。多くの成果を上げたのです。しかし、その重要性はさらに高まったのではないでしょうか。」

電力再考

効率化において確かな進展があったにもかかわらず、エネルギーは依然としてHPCにおける重要な要素である。現在のトレンドは言うまでもなく、生成AIへの膨大な需要と、それを稼働させるHPCおよびエネルギーだ。

エクサスケールシステムは約30メガワットの電力を消費するが、xAIのColussusのような巨大クラスタは単一システムでその10倍の電力を消費する。AIトレーニングや推論ワークロードを実行するため、大規模なAI工場ではGPUを多用した複数のクラスタが構築されている。少なくとも5つのギガワット規模のデータセンターが米国各地で建設中であり、今年中に稼働予定だ。さらに多くの施設が今後数年で計画されている。総計すると、今世紀末までに約100ギガワットの新規データセンター容量が稼働開始予定である。

	カーク・キャメロンはバージニア工科大学のコンピュータサイエンス教授である

キャメロンは、2000年代初頭に見られたエネルギー効率の問題が再び浮上していると指摘する。まず第一に、人々がエネルギー効率を本当に気にかけて行動を起こす意思があるのか、それとも他人事として見過ごしているのかという問題がある。第二に、電力消費量の測定に関連する新たな課題が生じている。最後に、エネルギーの無駄を減らすためにどのような対策が取れるのかだ。

「我々は以前にも同様の取り組みを行った」とキャメロンはSC25での発表で述べた。「しかし今回はトレードオフを考慮することがより重要になるだろう」

効率化のトレードオフ

AIとエネルギー効率化には興味深い要素が存在する。まず、GPU上で動作する大規模言語モデル（LLM）は電力効率が非常に高いことが判明している、とキャメロンは説明する。

「これらは非常に高密度な線形代数コードであり、規則的で、計算リソースに依存するか、データ再利用率が高い。供給電力を増やせば、1秒あたりの処理能力も向上する」とキャメロンは説明する。「エネルギー効率向上の余地は少ない。ハードウェアを既に効率的に活用しているからだ。」

GPUは他のHPCワークロード、例えば疎な非構造化線形代数コードを実行する際には効率が低いとキャメロンは述べた。これらのワークロードは不規則なメモリアクセスと低い演算密度を示す。例としては建築設計、地震モデリング、ウェブ検索が挙げられると彼は説明した。

キャメロンによれば、GPUの最も非効率な使用法は、メモリ間やネットワークを介したデータ移動である。疫病予測、放射線治療、リスクモデリングなどが該当する。これらの非効率なワークロードはメモリに制約され通信負荷が高く、エネルギー効率向上の有力な対象だと彼は述べた。

アイドル状態のプロセッサは効率改善の主要な対象である（画像提供：カーク・キャメロン）

これらのHPCシステムで効率を向上させるには、トレードオフが必要となる可能性が高い。例えばHPCユーザは、より多くのエネルギーを節約できるなら、LLM予測の精度がわずかに低下することを許容するかもしれない。同様に、デバイスメーカーは、低効率コードで使用されていない際に非効率なハードウェアの動作を抑制したいと考えるかもしれない。

効率向上の可能性の一つは、市販品（COTS）技術ではなく専用ハードウェアを使うことだ。キャメロンによれば、これは2000年代初頭に試みられたが、あまりうまくいかなかった。また非常に高価でもある。効率向上の可能性の一つではあるが、実現性は高くない。

おそらくHPCは今後もCOTS技術を使い続けるだろう。なぜなら次世代GPUの設計を牽引しているのは、従来のHPCワークロードではなくAIへの巨額投資だからだ。

「私自身も含め、受け入れがたい事実だと承知している。だが我々が技術革新を主導する立場ではない」とキャメロンは語った。「HPC分野における我々の役割は、クラウドやAIといった他市場で生まれた技術を自らの目的に適合させ、最大限に活用することだ。」