ISCでGreen500が目撃した効率的なコンピューティングの新たなフロンティア

Oliver Peckham オリジナル記事

2008年、米国国防高等研究計画局（DARPA）は、20メガワット級スーパーコンピュータの実現という野心的な目標を掲げた。当時の研究では、エクサスケールシステムには数百メガワットが必要と予測されていたため、この目標には懐疑的な見方が多かったが、オークリッジ国立研究所（ORNL）のエクサスケールスパコン「Frontier」が公式に目標を達成した。ISC2022では、1ワットあたりの処理能力でスーパーコンピュータをランク付けする「Green500」のオーガナイザーが、この開発状況などについて説明した。

効率化の新たなフロンティア

6月（実際は5月下旬）発表のGreen500リストは、ORNLがリードした。1位は Frontierの試験開発システム「Frontier TDS」、公式には「Borg」と呼ばれているが、私たちはこの名前を好んで使っている。Borgは（Frontierの74台のメインキャビネットと同じデザインの1台のキャビネットで）1ワットあたり62.68ギガフロップス、合計19.20 Linpackペタフロップスを達成した。Green500リストの管理者でバージニア工科大学の准教授であるウー・フェン氏は、ISC2022に仮想的に登場し、「これを素朴にエクサフロップに外挿すると、約16メガワットになる」と述べた。これは、前回のGreen500のチャンピオンであるPreferred Networks社のMN-3を60%近く上回る、驚異的な計算効率の達成となる。

ISC 2022でFrontier TDS/BorgのGreen500優勝の認定証を受け取る代表者たち。左はORNLでデータライフサイクルとスケーラブルワークフローを担当するシニアリサーチサイエンティストの ラファエル フェレイラ ダ シルバ氏、右はHPEでHPC担当チーフテクノロジスト兼チーフストラテジストを務めるニコラス ドゥベ氏。

しかし，Frontier が 1 ワット当たり 52.23 ギガフロップスで 2 位となった ことは，おそらくより印象的だと言える。「Green500 にランクインした Frontier は、Green500 リストにランクインした Top500 スパコンとしては、史上最高の 1 位です」とフェン氏は述べている。Green500のリストによると、Frontierは21.1メガワットのエンベロープで1.102 Linpackエクサフロップスを実現し、これは19.15メガワットで1エクサフロップスに相当するとのことだ。しかし、Oak Ridge Leadership Computing Facility（OLCF）のCTOであるアル・ガイスト氏は、セッションの中で、これは「非常に保守的な数字」であり、Oak RidgeがGreen500に提出した平均電力使用量は実際には20.2メガワットであると明らかにした。これは、1ワットあたり54.5ギガフロップスとなり、1エクサフロップを18.33メガワットで補間する計算となる。この数値は、前回Top500にランクインした理研の「富岳」（1ワットあたり15.42ギガFLOP）と比べて3.5倍以上効率が良いことになる。

スーパーコンピュータ「Frontier」。画像提供：HPE/ORNL

この効率性は、ORNLの長い伝統を物語るものだとガイスト氏は説明する。「オークリッジは、この10年間、エネルギー効率の高いコンピューティングに取り組んできました」と述べ、2012年のTitanシステムでのGPUの利用から、今日のFrontierまで、この10年間の取り組みがどのように実を結んだかを図解した。そして、「エクサスケールは、このような200倍ものエネルギー効率の良いコンピューティングによって実現されました」と述べた。ガイスト氏はさらに、チップが非常に細かいレベルで未使用のリソースをオフにできるようにするなど、CPUとGPUをより効率的にするためのAMDの作業を信用した。また、このリスト自体も高く評価している。「Green500は、電力効率とその重要性をコミュニティ全体に認識させるという、驚くべき成果を上げたと思います。」

Frontierの影は、「Green500」の上位2システムにとどまらない。Frontier、ひいては Borg は、AMD Milan “Trento” Epyc CPU、AMD Instinct MI250X GPU、HPE Slingshot-11 ネットワーキングを搭載した HPE Cray EX システムだ。このアーキテクチャは、3位のシステム、フィンランドの151.90 LinpackペタフロップススLUMIスーパーコンピュータ（ワット当たり51.63ギガフロップス、Top500の3位）にも採用されている。また、4位のフランスの46.10 LinpackペタフロップスAdastraシステム（1ワットあたり50.03ギガフロップス、Top500の10位）にも搭載されている。「これら4つのシステムはすべて、実際にFrontierのために開発された同じ技術を使用しています」とガイスト氏は述べている。LUMIとAdastraの両システムも、20メガワット以下のエクサフロップに外挿されている。

Green500の新トップ10（黄色が新規参入と測定値）。画像提供：ウー・フェン

Green500の傾向

トップ10のシステムはすべてアクセラレータを搭載しており、4つは前述のAMD MI250X GPU、5つはNvidiaのA100 GPU、その間の1つはPreferred Networks MN-Core アクセラレータを使用して5位に入っている。さらに、フェン氏は、前回の上位10台がすべてリストに残り、しかもトップ20に入ったのは初めてのことだと述べている。上位 10 台の平均電力効率をエクサスケールに当てはめると、約 40 メガワットになり、Frontier アーキテクチャと競合製品の間のギャップが明らかになった。以下の箱ヒゲ図に示すとおり，Green500 リストの残りのシステムは，11 月のリストと比較して効率性が若干向上している。

Green500 リストにおける 1 ワットあたりのギガフロップスの経時変化．画像提供：ウー・フェン

新しいリストには、もう 1 つ心強い傾向が見られた。Green500 では，3 段階の効率性報告が行われており，レベル 1 はフル稼働時のシステム全体，レベル 3 は稼働時のコアフェーズにおけるシステムのごく一部，そしてレベル 2 はその中間の測定値を表している。Green500のセッションで、Energy Efficient HPC Working Group（EEHPCWG）の議長であるナタリー・ベイツ氏は、「レベル2およびレベル3のエントリーの総数は、レベル1に比べて増加し続けており、これは本当に素晴らしいことです」と述べている。今回のGreen500リストには、102台の測定対象が含まれている。レベル1が57件、レベル2が31件、レベル3が14件である

より高い目標、新たな戦略

16年前に設立されたGreen500リストは、「スーパーコンピュータのエネルギー効率に対する認識を高め（報告を促し）」、「エネルギー効率を（性能と同等の）一次設計制約として推進する」ことを目的としている。しかし、Green500リストが考案された当時、スーパーコンピュータの定格は1桁のキロワットだったが、今ではFrontierのようなシステムが2桁のメガワットを引き下げている。ORNLのトーマス・ザカリア所長は記者会見で、「（Frontierで）Linpackの実行を開始すると、10秒以内にマシンはさらに15メガワットの電力を消費し始める…これは米国の小さな都市、オークリッジ市が消費する電力とほぼ同じです」と述べた。

Frontierのようなシステムの規模が大きくなると、システム自体が消費する電力量だけでなく、それを支えるインフラや電力そのものの調達の効率化も急務となっている。実際，DARPA のエクサスケールに関する 20 メガワットという目標は，昨年の ORNL の先端技術部門のウェビナーで ガイスト氏が語ったように，コストを前提としたものであった。「当時の科学部のトップから返ってきた数字は、5年間で1億ドル以上を支払う気はないというもので、（メガワットあたり年間100万ドルの平均コストに基づく）単純な計算です。20メガワットというのは、何が可能かということとは関係なく、私たちが地面に打ち込んだ杭に過ぎないのです。」

先日のGreen500のセッションで、ガイスト氏はオークリッジが 「コンピュータを動かすのにかかるエネルギー量を減らすだけでなく、データセンターを冷やすのにかかるエネルギー量も減らす 」ことに専念していると詳しく説明している。その結果、Frontier・データセンターの電力使用効率（PUE）はわずか1.03を達成した。「このマシンとデータセンターを可能な限り効率的にするために、多くの努力が払われました」とガイスト氏は述べている。

新LUMIデータセンター。画像提供：CSC

一方、EuroHPCの前述のLUMIシステムは、電力効率と持続可能性を考慮して設計された新しいデータセンターに収容されている（上の写真）。フィンランドのカヤーニにある古い製紙工場を利用したLUMIは、現在10メガワット未満で稼働しているが、100％再生可能エネルギー（地元の水力発電）を使用しており、廃熱をカヤーニの町に売るように設計されているため、エネルギーコストをさらに削減し、二酸化炭素排出量を正味でマイナスにすることに成功している。フィンランド北部に位置するため、もちろん人工冷却の必要性も低くなる。ISC 2022 の EuroHPC に関するセッションで、EuroHPC JU のエグゼクティブディレクターである アンダース・ジェンセン氏は、ヨーロッパのスーパーコンピュータにとって、こうした全体的なエネルギーの「物語」が重要であることを強調した。「Green500は素晴らしいが、エネルギーがどこから来たかは考慮されていません」 と彼は述べている。