Fontier、DARPAが2008年に設定した20MWのエクサスケール・パワー目標を達成するために

Tiffany Trader

10年以上にわたる計画を経て、米国初のエクサスケール・コンピュータ「Frontier」が、今年末にオークリッジ国立研究所（ORNL）に到着する予定だ。この「1,000倍」の地平線を越えるには、電力需要、信頼性、極限の並列性、データ移動という4つの大きな課題を克服する必要があった。

	Al Geist、オークリッジ国立研究所

オークリッジ国立研究所（ORNL）の先端技術部門（ATS）のウェビナーシリーズは、Al Geistがエクサスケールへの歩みを振り返ることから始まった。Geistは、スーパーコンピュータ「Frontier」がエクサスケールの4つの課題にどのように取り組んでいるかを説明するとともに、米国初のエクサスケール・コンピュータとして期待されている「Frontier」に関する重要な情報を公開した。

特に、2008年にDARPAが設定した20MWの出力目標に対し、「Frontier」は29MWの出力で1.5ピークエクサフロップス以上の性能を実現する。かつての目標は2015年に設定されていたが、ごく最近まで、2021年から2023年に登場するエクサスケール・スパコンの第一弾がこの目標を達成できるかどうかは不明であった。しかし、HPEとAMDの技術を採用した「Frontier」は、その可能性が高いと考えている。

Geistは、オークリッジ・リーダーシップ・コンピューティング・ファシリティ（OLCF）のコーポレートフェロー兼CTO、エクサスケール・コンピューティング・プロジェクトのCTOを務めている。Geistは、異種分散コンピューティングのデファクトスタンダードであるPVM（Parallel Virtual Machine）ソフトウェアのオリジナル開発者の一人でもある。

Geistはまず、エネルギー省とその関連機関でエクサスケール計画が活発化した2008年から2009年にかけて設定された4つの大きな課題について説明した。

「4つの課題はペタスケール時代にもありましたが、2009年当時ではエクサスケールのシステムを構築できないかもしれないという深刻な問題を感じていました。」とGeistは言う。「単にコストがかかるとか、プログラムが難しいとかいう問題ではなく、不可能なのではないかと考えていたのです。」

また、エネルギー消費の問題も大きくクローズアップされた。

「2008年に発表された研究論文では、エクサフロップシステムは150〜500メガワットのエネルギーを消費すると予測されていました。2008年に発表された研究論文では、エクサフロップシステムのエネルギー消費量は150〜最大500メガワットと予測されていましたが、ベンダーはこれを20メガワットに抑えるという野心的な目標を与えられていました。」とGeistは述べている。

また、信頼性の問題もあった。「当時の計算では、ジョブをチェックポイントするよりも早く障害が発生するのではないかと危惧されていました。」

さらに、10億通りの同時処理が必要になると考えられていた。

「問題は、それだけの並列性を利用できるアプリケーションが、たとえ1つであっても、ほんの一握りのものでしかないということでした。」とGeistは振り返る。「2009年当時、大規模な並列処理は通常10,000ノード以下でした。過去最大のアプリケーションでも、使用ノード数は10万程度でした。」

最後の問題は、データの移動という厄介なものだった。

「つまり、メモリからプロセッサにデータを移動し、プロセッサからストレージにデータを戻す時間が、実際には計算を行う上での主要なボトルネックであり、計算時間は重要ではないということでした。」とGeist は述べている。「1バイトの移動にかかる時間は、浮動小数点演算に比べて桁違いに長いのです。」

Geistは、2008年に発表されたDARPAのエクサスケール・コンピューティング・レポート（Peter Koggeが主導）を思い出した。このレポートでは、1エクサフロップスのピークシステムを実現するためには何が必要かを深く分析している。

当時の技術では、既製品でシステムを構築するには1,000MWが必要であったが、当時のワット当たりの処理能力のトレンドに合わせて最適化したアーキテクチャを採用すれば、およそ155MWでエクサスケールを超えることができるとGeistは語った。ストローマン・システムのメモリをノードあたり16ギガバイトにまで削減したベアボーン構成では、フットプリントは69〜70MWとなった。

しかし、積極的に70MWという数字を出しても、それは範囲外だった。それほどの電力を必要とするマシンでは、必要な資金の承認を得ることはできなかった。

「20MWという数字はどこから出てきたのでしょうか？」とGeistは問いかけた。「実は、技術的なことではなく、何が可能かということを評価した結果なのです。可能性があるとすれば、それは150 MWが必要だということでした。私たちが言ったのは、20MWでなければならないということです。なぜそう言ったかというと、DOEに「システムの寿命までに電力にいくら払うか」と質問したところ、当時の科学部門の責任者から返ってきた数字は、5年間で1億ドル以上は払いたくないというものだったからです。20MWという数字は、何が可能かということとは無関係で、我々が地面に打ち込んだ杭に過ぎないのです。」

Geistは、オークリッジでのマシンの進化の過程を紹介している。Titan、Summit、Frontier。「Frontier」では、GPUがパイプライン内に並列処理を隠蔽するファットノード方式を採用することで、極端な並列処理に対応している。

「ノード数が爆発的に増えたわけではありません。Frontierには100万ノードが必要だったわけではないのです」とGeist。「実際のところ、ノード数は本当に少ないのです。」

TitanではGPUとCPUの比率を1対1にしていたが、Summitでは3対1にした。しかし、Frontierでは、GPUとCPUの比率を4対1にしている。

「結局、エクサスケールには、2008年の報告書にあったようなエキゾチックな技術は必要ないということがわかりました。」とGeist。「特別なアーキテクチャや新しいプログラミングパラダイムも必要ありませんでした。フロンティアに到達するために必要だと考えられていた大きな飛躍ではなく、非常に漸進的なステップであることが分かったのです。」

電力に関しては、「Frontier」はピーク時に1.5エクサフロップスを超える性能を発揮しながら、消費電力は29メガワット以下に抑えることが期待されている。「これは、技術的な可能性を示す経験則として打ち出した1エクサフロップあたり20メガワットを、実際には少し上回っています。」とGeistは言う。「しかし実際には、Frontierを開発・設計したベンダーは、その目標を達成するために素晴らしい仕事をしてくれました。」

Geistはまた、エネルギー効率の向上について、DOEがエクサスケールの開発プログラムであるFastForward、DesignForward、PathForwardに投資したことを挙げています。

「この10年間のDOEの投資により、参加ベンダーはチップやメモリに必要なエネルギー量を減らし、わずか20メガワットの電力で1エクサフロップの計算ができるようになったのです。」とGeistは語る。

Geistのエネルギー効率の計算は、Linpackではなくピーク（倍精度）フロップに基づいている。計算効率を保守的に見積もって70パーセント（Rmax/Rpeak）とすると、29メガワットで1050 Linpackペタフロップス、つまり1ワットあたり36.2ギガフロップスとなる。計算効率が80パーセントになると、エネルギー効率は41.4ギガフロップス/ワットになる。(現在の最も環境に優しいスパコンは30ギガフロップス/ワットに近い。) Perlmutterは、バークレーラボに設置された新しい第5位のシステムは、HPE、AMD、Nvidiaの技術を組み合わせ、さらにGPUとCPUの比率を4対1にすることで、25.50ギガフロップス/ワットを達成している。また、ORNLはFrontierのピーク時の性能を「1.5エクサフロップス以上」にすると述べている。

Geistは、オンノードのフラッシュメモリによる信頼性の向上と、ベンダーがネットワークやシステムソフトウェアの適応性を高めたことを強調した。(また、ベンダーがネットワークやシステムソフトウェアの適応性を高めたことで、信頼性が向上したことも強調した。)

「Frontier」では、GPUにHBMを採用したことで、メモリウォールの問題が緩和されました。「Frontier」では、GPUに直接ハンダ付けされたHBM（High bandwidth Memory）メモリを採用しています。」とGeist。「これにより、帯域幅が1桁向上しました。これにより、この問題を解決することができました。GPUは、帯域幅が広いためにレイテンシーが大きくなることがありますが、GPUのパイプラインはレイテンシーを隠すのに非常に適しています。」

Geistのプレゼンテーションには、宇宙線の問題、SummitとSierraから得られた教訓、質疑応答など、他にも興味深い内容がたくさんある。講演の全容はこちらからご覧いただけます： https://vimeo.com/562917879