世界のスーパーコンピュータとそれを動かす人々


6月 28, 2021

Top500:富岳首位を維持、Perlmutterは5位で登場

HPCwire Japan

Tiffany Trader

第57回Top500は、ISC 2021のデジタルイベントで発表され、前回と同じシステムが多数紹介された。「富岳」が大幅なリードを維持し、トップ10コホートに新たに加わったのは、DOE ローレンスバークレー国立研究所のPerlmutterシステムが65.69 Linpackペタフロップスで5位にランクインした。このスーパーコンピュータは、Nvidia社のA100 GPUシステムと、かつて “Shasta “と呼ばれていたアーキテクチャを採用したHPE社のCray EXシステム(公開されているもの)としては、これまでで最大となる。

「富岳」システムは、442 Linpackペタフロップスで王座を維持している。1年以上前から理化学研究所に設置されているこの富士通のArmベースのマシンは、COVID-19との戦いに大きく貢献している。また、同時に公開されているHPCGとHPL-AIのベンチマークでも、「富岳」は強力なリードを保っている。

SummitとSierra(IBM/Mellanox/Nvidia、米国)は、それぞれ2位と3位に留まった。オークリッジ国立研究所のSummitは148.6ペタフロップス、ローレンスリバモア国立研究所のSierraは94.6ペタフロップスを記録している。Sunway TaihuLight(中国)は93ペタフロップスで4位を堅持した。

 
  2021年6月 Top500システムの1~12 ソース:Top500
   

5位は、バークレイ研究所の国立エネルギー研究科学計算センター(NERSC)に設置された「Perlmutter」が確保した。HPE Cray EXシステムは、AMD Milan CPUとNvdia A100 40GB GPUを搭載し、HPEのSlingshotテクノロジーで接続されている。Saul Perlmutterの名前を冠したこのシステムは、93.75ペタフロップスの潜在的なピーク(rPeak)のうち、65.69 Linpack rMaxペタフロップスを達成し、Linpack効率は70%となった。このrPeakは、システムのマーケティングピークである約62倍精度標準IEEEペタフロップス(GPU単体では59.6ペタフロップス)とは異なることに注意。つまり、Seleneと同様に、Nvidia搭載システムはマーケティングピークよりも高いLinpackスコアを出していることになる。

6位にランクを落としたのは、Nvidia社のSeleneシステムだ。Seleneは、rPeak79.22ペタフロップスのうち、63.46 Linpackペタフロップスを達成し、効率は80.1%となった。Seleneは、AMD Epyc Rome CPUとNvidiaの80GB A100 GPUを用いて、NvidiaのSuperPod A100 DGXモジュラーアーキテクチャを実装している。

中国製の「Tianhe-2A」は、61.4 Linpackペタフロップスで、1ランク下がって7位となった。Intel XeonチップとカスタムMatrox-2000アクセラレータを搭載したTianhe-2A(通称:MilkyWay-2A)は、2018年に4位でリスト入った。広州の国立スーパーコンピュータセンターに設置されている。

8位はAtos社製の「JUWELS Booster Module」で、44.12 Linpackのペタフロップスを記録しており、依然として欧州では最強の性能を誇っている。ドイツのForschungszentrum Juelich(FZJ)に設置されたこのシステムは、CPUにAMD Epyc Rome、GPUにNvidia A100を搭載している。

トップ10セグメントのうち、アカデミック分野ではDELLが、コマーシャル分野ではHPC-5/Eniが9位、Frontera/TACCが10位にランクインしており、引き続きトップを維持している。34.5ペタフロップスの「HPC-5」はNvidia GPUアクセラレーションを採用したマシンであり、23.4ペタフロップスの「Frontera」はストレートなx86 Intel Cascade Lakeシステムである。どちらのシステムもMellanox社のHDR InfiniBandを採用している。

トップ20のセグメントに目を移すと、新たに3社がランクインしている。22.2ペタフロップスで12位にランクインしたのは「ABCI 2.0」である。富士通製のこの新システムは、2018年に19.9ペタフロップスでベンチマークされた初代「ABCI」に代わるものだ。

13位は日本の「Wisteria/BDEC-01(Odyssey)」システムで、25.95 Linpackペタフロップス。東京大学に設置されたOdysseyは、富士通製で、A64FX Armコアを活用している。

19.3ペタフロップスを記録した19位のスーパーコンピュータは、サウジアラビアの「Ghawar-1」で、AMD Epyc Rome CPUとHPE Slingshotインターコネクト技術を統合したHPE Cray EXシステムだ。このシステムは、HPEがサウジアラムコのために構築したものである。

リストの傾向

今回のリストでは、中国のシステムシェアが大幅に減少しており、半年前の214台、1年前の226台から186台へと減少している。米中の地政学的な緊張が、中国のトップ500入りへの意欲を削いでいるようだ。信頼できる情報筋によると、2年前に2つの大型システム(200~300ペタフロップス以上の範囲)がベンチマークされたが、正式にはリストに掲載されなかったという。

現在、米国では123台のシステムが登録されており、約24.6%のシェアを占めている。上位100システムのうち、米国が33システムで最も高いシェアを占めている。日本は2番目に多く19台である。次に多いのはドイツの11システム。中国はトップ100に3台がランクインしているが、いずれも新機種ではない。

リストに掲載された新しい58台のうち、米国は16台。中国は2番目に多く、8台で、すべてレノボの製品であった。次いでドイツが7台、日本が5台となっている。

 
  2012年6月のTop500ベンダーツリーマップ
   

IBMシステムの契約数が9から8になったため、新しいIBMシステムはない。落ちたのはSTFC Daresbury Laboratory(英国)に設置されたIBM BlueGene/QのBlue Jouleだ。9年前に発売されたこのマシンは、今回のリストに掲載された最後のBlueGeneであり、かつてHPC/スーパーコンピューティングを支配したアーキテクチャの一時代の終わりを象徴している。

Top500のチームは、インターコネクトの使用パターンが半年前とあまり変わっていないことを指摘している。彼らは次のように報告している。「イーサネットは依然としてシステムの約半分(245台)で使用されており、InfiniBandは約3分の1(169台)、OmniPathインターコネクトは10分の1以下(42台)で、Myrinetに依存しているシステムは1台のみでした。カスタムインターコネクトは37システムあり、独自ネットワークは6システムに見られました。」

Cornelis Networksの指揮下でOmniPathの新しいロードマップが作成されているが、このリストにはCornelis-OmniPathの新しいシステムはなかった。しかし、半年前にデビューしたLivermoreのスーパーコンピュータ「Ruby」には、Cornelis NetworksのOmniPathが採用されており、そのようなシステムもリストに入っている。

また、HPEのSlinghotインターコネクトは、前回の1システム(CSCS Alps)から7システムに採用されていることも注目に値する。

トップ100のセグメントに注目すると、依然としてInfiniBandが主流である。上位100システムのうち65システムにInfiniBandが採用されており、HDR InfiniBandのセミカスタムバージョンを採用したSunway TaihuLightシステムも含まれている。これは、昨年11月の61台のIB接続マシンからの増加となっている。OmniPathは13台で安定している。

EuroHPCシステムがリストに登場

8台のEuroHPCシステムのうち4台が予定通り納入され、リスト入った。このうち2台はパーティションが2つあるため、実際には6台のシステムがあり、すべてAtos社製だ。Vega(#107、3.8ペタフロップス、スロベニア)、MeluXinaアクセラレータモジュール(#37、10.5ペタフロップス、ルクセンブルク)、MeluXinaクラスタモジュール(#232、2.3ペタフロップス、ルクセンブルク)、Karolina GPUパーティション(#70、6.0ペタフロップス、チェコ)、Karolina CPUパーティション(#149、2.8ペタフロップス、チェコ)、Discoverer(#92、4.5ペタフロップス、ブルガリア)。ペタスケールの「Deucalion」(ポルトガル)や、より大規模なプリ・エクサスケールの「Leonardo」(イタリア)、「LUMI」(フィンランド)などもまだ登場している。8番目のEuroHPCシステムであるMareNostrum 5(スペイン)については、まだ詳細が決まっていない。

エネルギー効率: Green500

 
   

Green500の1位に返り咲いたのは、Preferred Networks社のMN-3システムだ。半年前にNvidia社のDGX Superpodに敗れたPFNは、ディープラーニングに最適化したMN-3システムの電力効率を高め、26.0ギガフロップス/ワットから29.70ギガフロップス/ワットに向上させた。MN-3は、行列演算をターゲットとした独自のアクセラレータであるMN-Coreチップを搭載している。このシステムは、Top500の337位で、1.8 Linpackペタフロップスを記録している。

Green500の第2位は、フロリダ大学のHiPergator AIで、1ワットあたり29.52ギガフロップスの電力効率を実現している。Nvidia DGX A100システムは、CPUにAMD Epyc Rome、GPUにNvidia A100、ネットワークにInfiniBand HDRを採用している。17.20ペタフロップスでTop500の22位にランクインしたこのマシンは、Green 500の1位にランクインしたシステムよりもはるかに大規模なものだ。

Green500の3位には、Dell社製でケンブリッジ大学に設置されている「Wilkes-3」がランクインしている。このマシンは、AMD Epyc Milan CPUとNvidia A100 80GB GPUを搭載し、HDR InfiniBandを使用することで、1ワットあたり28.14ギガフロップスの電力効率を実現した。Top500では4.1ペタフロップスで101位にランクインしている。

最も電力効率の高いシステムのトップ10のうち、6台が新しいマシンであった。Green500のトップ20台のうち17台がアクセラレータ搭載機である。残りの3台(非アクセラレータ)は、すべて富士通のArmベースのマシンであった。「富岳」、「富岳プロトタイプ」、「Odyssey」である。

ここ数年、Green500の上位には様々な国の代表が名を連ねているが、これは心強い傾向だ。日本、米国、英国、ルクセンブルグ、ドイツ、フランス、チェコ、イタリアがトップ25にランクインしている。

Erich Strohmaierが発表したGreen500のスライド(2021年6月28日)
 

その他のハイライト

57回目のTop500では、Microsoft Azureが4つのクラウドベースのクラスタの製造元としてデビューし、26位から29位までを独占した。16.6ペタフロップスを記録したこの4つのマシンは、AzureのNDv4クラスタをベースにしている。これは、8つのNvidia A100 GPUと2つのAMD Epyc Rome 48コアプロセッサを活用し、200 GbpsのHDR InfiniBandで相互に接続されたNvidia HGXデザインである。

なお、マイクロソフト社によると、実際のAzure ND A100 v4シリーズのクラスタは、ベンチマークの4台よりもかなり大きいとのことだ。Azure HPCグループのシニアプログラムマネージャーであるIan Finderは、「どのくらいの規模かは公表していませんが、お客様からの驚異的なアクセス要求をよりよく満たすために、各クラスタの一部でしかベンチマークを実行しないことにしました。」と述べている。

今回のリストには、アクセラレータ/コプロセッサ技術を利用したシステムが144台含まれており、6月の148台から減少している。144台のアクセラレータシステムのうち、138台(96%)がNvidia社の技術を採用している。AMDのGPUを採用しているのは、中国のPukou Advanced Computing Centerに設置されているSugon製のシステムのみで、CPUにはAMD Epyc “Naples”、GPUにはAMD Vega 20が採用されている。現在378位のそのシステムは、2019年11月に初めて登場した。

 
  リストの歴史の中でのTop500チップ技術シェア
   

Top500によると、Intelは引き続きTop500システムの最大のシェア(86.20%)にプロセッサを提供しており、半年前の91.80%、1年前の94%から減少している。Intel Ice Lakeプロセッサは、8つのシステムでデビューした。

AMDは49システム(9.8%)にCPUを供給しており、半年前の4.2%、1年前の2%から増加している。「Perlmutter」を含む4つの第3世代Epyc Milanシステムがリストにデビューした。

AMDは、「Selene(5位)」と「Perlmutter(6位)」で、「Tianhe-2A(7位)」のIntelよりも上位にランクインしている。また、上位4機種はx86ベースではない。

全500システムのLinpack性能の合計は2.80エクサフロップスで、半年前の2.43エクサフロップス、1年前の2.22エクサフロップスを上回った。全体のLinpack効率は、6か月前の63.3%から63.1%へとほぼ安定しており、上位100セグメントのLinpack効率は、6か月前の71.2%から70.7%へとわずかに低下している。第1位の「富岳」は82.28%と健闘している。

第57回Top500へのランクインに必要なLinpackの最小スコアは、半年前の1.32ペタフロップスに対し、1.52ペタフロップスとなった。トップ100セグメントのエントリーポイントは、前回のリストの3.16ペタフロップスに対し、4.13ペタフロップスとなっている。現在500位のシステムは、前回は450位であった。

今回のリストには、現在または過去にナンバーワンとなった5つのシステムがランクインしている。「富岳」の他には、「Summit」、「Sunway TaihuLight」、「Tianhe-2A」、「Tianhe-1A」がある。「Tianhe-1A」はHPCとしては非常に古く、実際にリストの中で最も古いシステムとなっている。「Tianhe-1A」は、10年以上前に天津(中国)のNational Supercomputing Centerに設置され、2010年11月に初めてTop500にランクインした。2番目に古いシステムは、2011年6月に登場したインテルの社内クラスタで、「Endeavor」と呼ばれている。現在、1.6ペタフロップスで379位にランクインしている。

1993年から2021年までの性能の推移(出典:Top500)