世界のスーパーコンピュータとそれを動かす人々


5月 31, 2021

バークレー研究所、世界最速のAIスパコン「Perlmutter」を発表

HPCwire Japan

Tiffany Trader

本日、バークレー研究所の国立エネルギー研究科学計算センター(NERSC)で行われたテープカットは、HPEがNvidiaおよびAMDと共同で開発したGPU高速化スーパーコンピュータ「Perlmutter」(通称:NERSC-9)の正式発表を意味している。HPE Cray EXスーパーコンピュータは、6,159基のNvidia A100 GPUと約1,500個のAMD Milan CPUを利用して、理論「AI性能」(注)が約3.8エクサフロップス、ピーク時の倍精度(標準FP64)HPC性能が約60ペタフロップスを実現している。

このシステムは、宇宙の膨張が加速していることを示す研究への貢献により、2011年のノーベル物理学賞を受賞したバークレー研究所の天体物理学者、Saul Perlmutterの名前を冠している。そのため、スーパーコンピュータ「Perlmutter」の初期使用例の一つとして、宇宙の膨張に対するダークエネルギーの影響を調べる「Dark Energy Spectroscopic Instrument(DESI)」をサポートすることになっている。

DESIは1回の撮影で5,000個もの銀河をとらえることができるが、そのデータを処理することで、110億光年にわたる可視宇宙の地図を作ることが可能だ。

この高価な装置を毎晩どこに向けるかを知るために、研究者は前夜のデータを評価する必要がある。Perlmutterは、何十回もの露光を素早く分析し、次の夜のサイクルに間に合うようにこのフィードバックを提供することができるのだ。

NERSCの研究者による初期のベンチマークでは、GPUを使用することで最大20倍の性能向上が報告されており、数週間から数ヶ月かかっていたワークフローが数時間に短縮されると言われている。

材料科学の分野でも、同様の効果が期待されており、バッテリーやバイオ燃料の進歩につながると考えられている。Quantum Espressoのようなアプリケーションは、Perlmutterの従来のシミュレーションと機械学習の機能を活用し、科学者がより多くの原子を長期間にわたって研究できるようにする。

NERSCのアプリケーション・パフォーマンス・スペシャリストであるBrandon Cookは、「これまでは、バッテリー・インターフェースのような大きなシステムの完全な原子シミュレーションを行うことは不可能でしたが、科学者たちはPerlmutterを使ってそれを行うことを計画しています」と述べている。

Nvidia社によると、Quantum EspressoBerkeleyGWNWChemのいずれも、Nvidia社のFP64 Tensor Coresを活用することができ、GPUあたり9.7テラフロップス(ピーク理論値)に対して19.5テラフロップスと、標準的なFP64フォーマットの2倍の性能を発揮することができる。Nvidia社によると、PerlmutterはFP64 Tensor Coreのピーク性能として120ペタフロップスを実現しているとのことだ)。

 
  NERSCの新しい「プラットフォーム統合ストレージ」は、これまでのNERSCのバーストバッファ層とディスクベースのスクラッチ層に代わるものである。スライド提供:Glenn Lockwood氏、SC20プレゼンテーション(HPCwire報道へのリンク)
   

Perlmutterの第1フェーズは、1,500以上のノードを収容するGPU高速化Cray EXキャビネット(通称「Shasta」)12台と、35ペタバイトのオールフラッシュ並列ファイルシステム(HPE E1000)に及んでいる。NERSCによると、Lustreファイルシステムは毎秒5テラバイト以上の速度でデータを移動させることができ、この種のストレージシステムとしては最速とのことだ。

Perlmutterシステムは、直接水冷式で、HPEが開発したCrayのインターコネクト技術「Slingshot」を採用しています。

今年の後半には、CPUのみの第2フェーズが計画されている。フェーズ2では、ノードごとに512GBのメモリを搭載したAMD Milan CPUを2基搭載した3,000ノード以上のCPUキャビネットを12台追加する。また、NERSCによると、フェーズ2のシステムでは、ログインノードが20台追加され、大容量メモリノードが4台追加される。

Perlmutterは、Cori(ノーベル賞を受賞した生化学者Gerty Coriにちなんで命名)の後継機で、こちらもフェーズ1のインテルHaswellベースの「データ・パーティション」とフェーズ2のインテルKnights Landing(Xeon Phi)パーティションの2つのパーティションとして構築された。Coriは、KNLプロセッサをベースにしたオープンサイエンス向けのスーパーコンピューティングシステムとしては最大規模のものだ。NERSCは、少なくとも2022年までCoriの運用を継続する。

ソフトウェア面では、「Perlmutter」のユーザは、標準的なNVIDIA HPC SDKツールキットを利用することができ、NERSCとの共同開発によりOpenMPのサポートが予定されている。

また,Pythonプログラマは,GPUを用いたデータサイエンスのためのNvidiaのオープンソフトウェアであるRAPIDSを使用することができます。

フェーズ1のキャビネットはここ数カ月で導入されたが、2020年11月の導入開始前から、NERSC Exascale Science Applications Program(NESAP)では、初日からシミュレーション、データ、学習アプリケーションにGPUノードを活用できるように準備活動を行ってきた。NERSCの報告によると、これらのLESAP準備チームがシステムに最初にアクセスすることになる。また、新システムでは、エクサスケール・コンピューティング・プロジェクト(ECP)のソフトウェアのサポートも予定されている。

Perlmutterのハイレベルアーキテクチャ図

 

科学のためのAI

Perlmutterは強力なAI機能を備えており、DOEのAI for Scienceというフォーカスエリアに結びついている。これは、科学におけるAIの利用を促進するエクサスケール的なイニシアチブである。

NERSCのデータ・アナリティクスサービスグループのリーダー代理であるWahid Bhimjiは、Nvidiaのブログ記事の中で、「科学のためのAIは、米国エネルギー省の成長分野であり、素粒子物理学、材料科学、バイオエネルギーなどの分野で、概念実証が本番のユースケースに移行しています」と述べている。

「ニューラルネットワークのモデルはどんどん大きくなっており、より強力なリソースへのアクセスが求められています。A100 GPU、オールフラッシュファイルシステム、ストリーミングデータ機能を備えたPerlmutterは、AIへのニーズを満たすのに最適なタイミングです」と述べている。

Nvidia社のCEOであるJensen Huangは、本日の仮想発表プログラムの一環として、事前に収録したビデオの中で、HPCとAIの新たな相乗効果を強調した。

Huangは、「AIとハイパフォーマンス・コンピューティングを融合させるPerlmutterの能力は、材料科学、量子物理学、気候予測、生物学研究など、幅広い分野でブレークスルーをもたらすでしょう」と述べている。

今後の展望(量子へ)

Perlmutterに続くNERSC-10とNERSC-11というコードネームの計画はすでに進行中だ。

NERSCの所長であるSudip Dosanjhは、本日の仮想式典で次のように述べた。「システムの設計と導入には何年もの時間がかかります。」

NERSC所長のSudip Dosanjhは、本日の仮想式典で次のように述べた。「ポスト・ムーアの法則の時代に入ると、よりヘテロジニアスなシステムが必要になることは明らかです。私たちは、さまざまなタイプのアクセラレータを検討しています。NERSC-10に量子加速器が搭載される可能性は低いと思いますが、NERSC-11には搭載されるかもしれません。NERSCで実行されるコードの半分は何らかの量子力学的な問題を解決するものであり、そのようなワークロードには量子加速器が必要になるかもしれません」と述べている。

「NERSC-10では、DOE科学部のエンドツーエンドのワークフローに焦点を当て、実験、データ解析、シミュレーションを統合することで、科学的発見の新しい形を実現したいと考えています。科学者がAIを使ってデータを解析できるようにするだけでなく、AIを使ってシステムを管理し、システムの信頼性やエネルギー効率を向上させたいと考えています。そしてさらに、AIを使ってNERSC-10を再構成し、ワークフローを加速させるという目標もあります」とDosanjhは語った。

Hello Perlmutter – Saul PerlmutterがライブデモでPerlmutterを稼働させた。

 

注:Perlmutterの「AI性能」は、Nvidiaの半精度数値フォーマット(FP16 Tensor Core)で、Nvidiaのスパース機能を有効にした場合のものです。