Green500クリスタル記念日、MN-3が連勝を飾る

Oliver Peckham

Green500リストの管理者であるWu Fengは、SC21のバード・オブ・フェザーセッションで、「今回でGreen500は30回目です。」と述べた。「Green500の15年とも言えるので、クリスタル記念日と言えるかもしれませんね。」実際、HPCwireは今年初めの29番目のリストで、Green500（スーパーコンピュータをフロップ数だけでなく、ワットあたりのフロップ数でランク付けする）の15周年を記念した。エクサスケール時代が（ある程度）正式に到来し、リストは重要な節目を迎え、その王者はその栄光に安住することなく、あらゆることを行っている。

エクサスケール成長の痛み

今年のTop500リストには、現在確認されている2つの中国のエクサスケールシステム、SunwayのOceanLight（ピーク時1.3エクサフロップスと報告）とTianhe-3（ピーク時1.7エクサフロップスと報告）の不在が目立っている。しかし、これらのシステムはTop500を独占することなく、完全に除外された。HPCコミュニティは、上位2つのシステムがTop500に報告されない場合、リストの有用性はどうなるのか、という懸念を抱いている。

数年前からTop500の傘下で運営されるようになったGreen500も、今サイクルでは同じ運命をたどり、現在知られているエクサスケールシステムの両方がこのリストからも姿を消している。Green500は、歴史的にTop500ほど参加者が多いわけではないが、エクサスケールシステムが除外されたことは、参加の是非を超えた理由で、今でも痛烈な印象を与えている。

Green500の主催者は、最も効率的なシステムだけでなく、最も強力なシステムのワット当たりフロップ数にも一貫して関心を持っている。たとえば、富岳はTop500で現在トップランクのシステムで、Green500では比較的良い順位（26位）にいる。しかし、11月の評価でワット当たり15.4ギガフロップスは、Green500トップのMN-3に大きく及ばず、同システムの効率はワット当たり39.4ギガフロップスと倍以上に達している。世界で最も強力なシステムの効率を知らなければ，最も強力なシステムと最も効率的なシステムの間にある溝を明らかにすることは困難だ。

重要な閾値に近づく

しかし、MN-3が達成した1ワットあたり40ギガフロップスという記録的な数字は、スーパーコンピュータの効率化にとって重要な道しるべとなるものだ。「この効率を単純にエクサスケールのスーパーコンピュータに直線的に外挿すると、1エクサフロップで25メガワットのスーパーコンピュータになります。」とFengは言う。「1ワットあたり50ギガフロップス（現在、ほぼ1ワットあたり40ギガフロップス）に到達すれば、1ワットあたり50ギガフロップスは、20メガワットの枠内でエクサスケールのスパコンを実現できることを意味します。」この20メガワットというのは、米国のエクサスケール計画の野心的な目標であり、Fengはこれまでかなり弱気な発言をしていた。

SC21では、Fengは明らかに楽観的な見方を示した。「2008年当時、（エクサスケールシステムの）予測される電力外挿はギガワットのオーダーでした。しかし、現在では、MN-3をエクサスケールのスーパーコンピュータに外挿すると、25.4メガワットになることが分かっています。」(6月のGreen500リストの約1ヶ月後に、HPCwireが米国初のエクサスケールシステムであるFrontierが20メガワットの目標を達成しそうだと報じたことも注目すべき点である。)

それでも、Top500 の上位 10 システムは、「40 メガワット、30 メガワット、または 20 メガワットのいずれにおいても、エクサスケールからかなり離れている。」、そして Green500 リストの中央値もこれらの目標からはほど遠いと、彼は指摘している。「Green500リストのトップエンドのエネルギー効率の改善速度は、中央値の改善速度よりもはるかに速いのです。」とFengは述べている。

画像提供：Wu Feng

この効率の伸びは、主にシステムの高速化によってもたらされている。「2021年を見ると、ヘテロジニアス・アクセラレーション・システムのエネルギー効率の中央値は、ホモジニアス・スーパーコンピュータのエネルギー効率をはるかに上回っています。」とFengは説明し、Green500システムの「トップ10のうち10台がアクセラレーション・システムでした。」とも述べている。また、AMDは上位10位中8位を獲得し、幅広い分野で連勝を続けている。

MN-3の優位性

MN-3は、トップ10に入った2つのIntelシステムのうちの1つであるが、Preferred Networksが運用するこのシステムは、Preferred Networksが深層学習用に設計した（そしてTSMCの12nmプロセスで製造）カスタムアクセラレータ「MN-Core」に主に依存し、500Wのラッパーで理論ピーク32.8倍精度テラフロップス（または半精度テラフロップス500超）を達成するのだそうだ。

画像提供：土井裕介氏

このMN-Coreを200枚近く搭載したMN-3は、Green500のリストに新たに加わったわけではない。2020年6月のTop500で1.6ペタフロップスのLinpack評価を最初に報告したこのシステムは、そのサイクルのGreen500リストで（当時）1ワット当たり21.1ギガフロップスでトップに立っている。同年11月には2位に転落したが、報告された効率は1ワットあたり26.04ギガフロップスに上昇した。2021年6月には29.7で再びトップに返り咲き、先月には39.4とこれまでの記録を塗り替え、あっさり3度目の栄冠を手にした。この間、Linpackの評価も当初の1.6Linpackペタフロップスから2.2Linpackへと上昇し、Top500の393位から301位へと躍進している。

画像提供：土井裕介氏

SC21の会場でHPCwireのインタビューに応じたPreferred Networksのコンピューティングインフラ担当副社長である土井祐介氏は、このシステムの劇的な改善は、新しい自社ハードウェアを扱う際に特有の学習プロセスによるものであると述べている。「Nvidia GPUを使用している場合、そのアーキテクチャについて多くの経験を持っています。」と彼は述べている。「私たちのアーキテクチャは最初のものなので、効率的に動作させるためには、プロセッサ自体について知らなければなりません。だから時間がかかるんです！」 実際、MN-3がGreen500の上位に入ったときは、まだその効率が-彼らの目には-相対的に-低かったので、彼は驚いたという。

MN-3とMN-Coreアクセラレータを、社内でのディープラーニング用途以外にどう活用するかは、新参者であるPreferred Networksがまだ考えているところだそうだ。「（自分たちのビジネスを加速させるためには）たくさんのコンピューティングリソースが必要です。」と土井氏は言う。「事業戦略はまだ決まっていません。ここ（SC21）に来た理由の1つは、この分野にフィットするビジネス戦略を見つけるためで、最初は社内での利用を中心に考えていますが、（しかし）この種のアクセラレータを使いたい人には門戸を開いています。」

しかし、Preferred Networksは、MN-3を無限に改良し続けるわけではない。彼らは、次のアクセラレータであるMN-Core 2が2023年に稼働することを期待しており、その時には、新しいハードウェアを紹介するために「全く別のシステム」を用意するだろうと土井氏は述べている。

Green500の今後

Green500は、当初から「スーパーコンピュータのエネルギー効率に関する意識を高め、報告を促す」ことを目的としているとFengは語る。「私たちは、エネルギー効率、つまりグリーン度を、性能と同等の一次的な設計制約として推進するところまでやりたかったのです。」

Green500 の主催者と Energy-Efficient HPC Working Group (EEHPCWG) は、この目標に向けて Green500 の報告方法を進化させるべく協働してきた。Green500では現在、レベル1（システムの一部で1つのフェーズにおける平均電力使用量のみを要求）からレベル3（システム全体におけるラン全体の完全な実エネルギー使用量を要求）までの3段階の報告を行っている。

Fengによると、今年はローレンスバークレー国立研究所やJAMSTECなどの著名な報告者を含む8つのサイトが、より質の高い報告を行ったとのことだ。一方、Preferred Networks社は、当初はレベル2で報告していたが、レベル3への引き上げを選択した。土井氏は、「当時は、1位を獲得したことで満足しておらず、1位はより正確な測定であるべきだと考えていました。」と述べている。

現在、Green500は2つの方向に引っ張られているように見える。主要なシステムがTop500からも脱落する中、あまり一般的でないGreen500は可能な限り難易度の低い報告を許可する必要性を感じているかもしれない。一方、より著名な採用企業の中には、Top500への提出に際してカーボンフットプリント報告や電力報告義務といったより厳しい要件を要求するところも出てきている。

当面の間、Green500 がどの方向に傾くかは不明である。EEHPCWGは、過去数年間に寄せられた改善のための提言に基づき、Green500の手法を見直し、場合によっては改訂するプロセスを開始する予定である。EEHPCWGのリーダーであるNatalie Batesは、「私たちは、改訂された文書が最終的にGreen500とTop500に採用されることを望んでいます。」と述べている。

ヘッダー画像 SC21にて、Wu Feng氏（左）から土井裕介氏（右）へGreen500の受賞証が手渡された。

訳者注：

オリジナル記事中の土井祐介氏のインタビュー動画はオリジナル記事からご覧ください。