PEARC21パネル、2021年にNSFが資金提供する8つの新しいHPCシステムを評価

Ken Chiacchia, Pittsburgh Supercomputing Center/XSEDE

ここ数年、NSFは、オープンリサーチコミュニティのニーズの変化と拡大に応えるための計算リソースを提供するため、多くのHPCシステムに資金提供してきた。PEARC21会議（7月19日～22日）で行われたこれらのシステムのレビューでは，かつてないほど大規模なデータの処理，科学的調査におけるAIの利用の統合と拡大，かつては独立したHPCリソースであったものをクラウドやその他の外部リソースと接続すること，HPCはおろか，これまでコンピュータを必要としなかった研究領域への参入を容易にすることなど，同様の課題に取り組むために，極めて多様なアーキテクチャとハードウェアが検討されていることが明らかになった。

パネルディスカッションでは、ピッツバーグ・スーパーコンピューティング・センター（PSC）のディレクターであるShawn BrownとPSCのユーザ・サポート・ディレクターであるSergiu Sanieleviciの司会のもと、2021年中に稼働予定の8つの新しいリソースが紹介された。これらのシステムは、NSFの2つのカテゴリーに分類されている。カテゴリー1のシステムは、科学コミュニティに生産能力を提供するもので、現在NSFのXSEDEサイバーインフラストラクチャプロジェクトに割り当てられている。カテゴリー2は、次世代のHPCの基盤となるような新しいアーキテクチャやハードウェアを検討するための実験的なシステムである。

PEARCカンファレンスシリーズでは、リサーチ・コンピューティング・コミュニティの幅広い参加者の間で、課題、機会、解決策を議論する場を提供している。このコミュニティ主導の活動は、過去の成功例に基づいており、学術界、政府、産業界にまたがる、地方、地域、国、国際的なサイバーインフラとリサーチコンピューティングのパートナーをさらに巻き込んで、より成長し、包括的になることを目指している。PEARC21（Evolution Across All Dimensions）は、今年はバーチャルイベントとして開催された（7月19日〜22日）。

『Bridges-2』：急速に進化するデータ集約型研究のためのプラットフォーム

PSCの先進的な研究用コンピューティングプラットフォーム『Bridges-2』の中心的な目標は、ユーザがこれまでにない実験空間を探索できるようにすることだと、プロジェクトの主任であるBrownは言う。NSFのカテゴリー1システム（助成金：OAC-1928147）である『Bridges-2』は、今年初めに運用段階に入り、ビッグデータの活用を目的としている。『Bridges-2』は、高速なインターコネクトと計算機実験における自動化と技術革新を行う人工知能のための最適化を行う異種混合システムである。

『Bridges-2』は、いくつかの異なる要素を組み合わせることで、ジョブの一部が最適な計算環境間を移動できるようにし、HPCの経験がないユーザでも参入しやすい環境を実現している。

• 488台の「レギュラーメモリ」ノードは、それぞれ2基のAMD Epyc “Rome” CPUと256GBのRAMを搭載
• 512GBのRAMを搭載した「ラージメモリー」ノードは16台
• 4TBの共有メモリを搭載した「エクストリーム・メモリ」ノードは4台
• 24台のGPUノードは8個のNvidia Tesla V100 GPU、2個のXeon Gold CPU、512 GB RAMを搭載している。
• Mellanox ConnectX-6 HDR InfiniBand 200Gb/sインターコネクト
• 200TB以上のフラッシュメモリ、15PB以上のLustreファイルシステム、17.5PB以上のHPE StoreEverテープライブラリを備えた3レベルのデータストレージ
• インタラクティビティ、コンテナ、データベース、ゲートウェイ、一般的な言語やフレームワークとの互換性

Brownは、研究者が最小限の労力で 「仕事を終わらせる 」ことができるようにすることが重要だと述べている。

「部屋の中にどれだけ多くの箱を置けるかではありません。どれだけ多くの科学を達成できるかが重要なのです」。

XSEDEに割り当てられた『Bridges-2』の割り当て情報は、portal.xsede.orgから入手できる。

『Neocortex』、急速に進化する研究のためのインタラクティブなAI開発を解放

PSCにおけるNSFカテゴリー2のシステムの例としては、Cerebras社のWSE（Wafer Scale Engine）技術を活用して機械学習のトレーニングを高速化するための専用システムである『Neocortex』（助成金：OAC-2005597）がある。

『Neocortex』のPIであるPaola Buitrago（PSCのAI＆ビッグデータ担当ディレクター）は、「最先端のAIモデルは、ますます多くの計算機を必要としています。2012年以降は、3.4か月ごとに必要な計算量が2倍になっているのです。また、モデルのパラメータやデータもどんどん大きくなっています。」AIはまた、自然言語処理やコンピュータビジョンに始まり、生物学などの新しい分野にも広がっており、科学の主流になりつつある。

『Neocortex』のアーキテクチャは、機械学習の中でも最も時間のかかる学習を高速化するように設計されている。

• 2台のCerebras CS-1 WSEサーバとHPE Superdome Flexサーバを12本の100Gb/sイーサネットリンクで接続したプライマリコンピュートシステム
• 16本のEDR-100リンクでBridges-2プラットフォームと15PBのLustreファイルシステムと連携
• 205 TBのNVMe SSDストレージ
• 24TBのRAM

これまでのところ、CS-1サーバと組み合わせた独自のハイメモリ・アーキテクチャや、40万個のAIに最適化されたコアに18GBのオンチップメモリを提供するCS-1の機能は、チームの期待に応えているとBuitragoは述べている。「コアから1クロック離れたところにすべてのメモリがあり、さらに非常に高速なファブリックがあることで、非常に高速なモデル並列学習が可能になりました。小ロットでもハードウェアの最適化が非常に高いレベルで行えます。」

このシステムの最新情報や、アーリーユーザプログラムへの参加に関する情報は、www.cmu.edu/psc/aibd/neocortex/。

『Ookami』で多様なサイバーインフラを探る

NSFのカテゴリー2テストベッドシステムである『Ookami』（助成金：OAC 1942140）は、理化学研究所の世界最速の「富岳」システムがもたらした革新的なアーキテクチャを活用していると、主任研究員のRobert Harrison（ストーニーブルック大学先端計算科学研究所所長）は述べている。『Ookami』は、富士通のA64FX Post-Kプロセッサを海外で初めて導入し、「GPUの性能とCPUのプログラマビリティ 」を両立させるArmプロセッサの利用を模索している。

『Ookami』のArmベースのプロセッサは、「リーダーシップスケールでのコンピューティングへの異なる道 」を提供するものであり、メモリの速度、簡単にアクセスできるパフォーマンス、エクサスケールへの根本的に異なる道を提供するものであると、Harrisonは述べている。『Ookami』の特徴。

• 176ノード、各ノードにA64FXプロセッサと32GB（HBM）のRAMを搭載
• システム全体で5.6TBのRAMを搭載
• 0.86TBのLustreファイルシステムストレージ
• InfiniBand HDR-100インターコネクト
• ベクトル長に依存しないプログラミングの移植性、拡張性、最適化を可能にするスケーラブルなベクトル拡張機能
• 複雑なネストされた条件やループをサポートする、プレディケート中心のアーキテクチャ
• オープンソースおよび商用ツールのサポート

Harrisonは、32GBのRAMは、2017年にXSEDEシステム内の全ジョブを分析した結果であると説明している。その結果、このメモリサイズがXSEDEのジョブの86％、XSEDEのサイクルの85％をサポートすることが明らかになった。

さらに、「これまでの『Ookami』での経験は非常に素晴らしいものでした。」と述べており、様々なベンチマーク計算でSkylake CPUの性能を2.5倍から5.8倍に向上させ、システムへのコードの移植性も優れている、と付け加えた。「これらのスタックはすべて、基本的にすぐにコードをコンパイルして実行することができ、基本的には標準的なLinux環境です。」

『Ookami』に関する詳しい情報は、www.stonybrook.edu/ookami/。

『Anvil』

X. カテゴリ1の『Anvil』システム（OAC 2005632）のPIであり、パデュー大学のScientific Solutions GroupのリーダーであるCarol Songは、次期システムと、XSEDEに割り当てられたエコシステムにおけるその役割について紹介した。

「ご存知のように、XSEDEの…リソースは常に過剰に要求されています。」と彼女は述べている。さらに、応用分野や新しい計算パラダイムの進化に伴い、「これらの応用をサポートするための十分なリソースを確保することが課題となります。そして何よりも重要なのは、次世代の研究者や人材を育成することです……私たちの答えは『Anvil』なのです」。

『Anvil』はこれらの問題を解決するために、以下のような設計になっている。

• AMDの第3世代Epycプロセッサを搭載した1,000台のコンピュートノード（ピーク時の性能は5.3PF）と、XSEDEに提供される年間10億CPUコア時間という高い性能
• Nvidia A100 GPUを4基搭載した16基のGPUノードと、1TBのメモリを搭載した32基のノードによるGPU/大容量メモリ機能
• 8台のラージメモリ・ストレージノードであるコンポーザブルサブシステムは、Microsoft AzureおよびRancherへの統合経路により、Kubernetesインフラストラクチャをスケーラブルに展開可能
• 3 PBのフラッシュストレージ、10 PBの並列ファイルシステム、Globusによるデータ転送を備えたマルチティアストレージ（オブジェクトストレージ、プロジェクト、アーカイブスペースを含む
• Jupyter Notebook、NGCコンテナ、その他のAI加速シミュレーションツールキット、高性能PythonやRなどの一般的なツールとの相互作用と互換性

『Anvil』の早期ユーザプログラムは、今年8月中旬に開始し、10月1日の運用を目標としている。詳細については、www.rcac.purdue.edu/anvil。

NSFエコシステムの一員としての『Jetstream2』

次期カテゴリー1の『Jetstream2』システム（OAC 2005506）は、現行の『Jetstream』での経験を基に開発される予定である、とPIのDavid Hancock（インディアナ大学先進サイバーインフラストラクチャ担当ディレクター）は述べている。

Hancockによると、『Jetstream』は、APIへのアクセスとユーザへの完全な制御を可能にし、インスタンスを継続的に実行できる「無期限のワークフロー」をサポートし、トライアルアプリケーションの開発に成功した。『Jetstream2』では、少量割り当てのユーザに対して、申請プロセスの迅速化、複数年の割り当て、データセットの共有ストレージを提供する。

「これは、『Jetstream』システムから様々な点で進化したものです。」とHancockは述べている。『Jetstream2』では、「これまで提供してきた機能を重視し、ヘテロジニアスなハードウェアを使って機能を強化し、『Jetstream』で見つかったギャップを解消しようとしています。」と述べている。

『Jetstream2』の機能は以下の通り。

• オーケストレーションのサポート、弾力性のある仮想クラスタ、JupyterHubの連携、ストレージの共有を強化したIaaSモデル。
• サイエンスゲートウェイやハイブリッドクラウドをサポートするための99％以上のアップタイムの確保
• 統一されたインスタンス管理と複数インスタンスの起動を可能にする、刷新されたユーザインターフェース
• 57,000コア以上の次世代AMD EPYCプロセッサを搭載
• 360基以上のNvidia A100 GPU
• NVMeとディスクのハイブリッドで17 PB以上のストレージを実現
• 100GbEのMellanox社製ネットワーク

『Jetstream2』は、IUのプライマリサイトに加え、ハワイ大学、アリゾナ州立大学、テキサスアドバンスドコンピューティングセンター、コーネル大学にInternet2と連携したリージョナルサイトを設置し、『Jetstream』の分散モデルを継続する。

NSFは、『Jetstream』の運用を今年の11月まで資金提供して延長しており、2022年3月までの延長も進行中だ。『Jetstream2』の初期運用は2021年12月、本番運用は1月に開始される予定。

『Delta』

国立スーパーコンピュータ応用研究所チームは、高度な研究用コンピューティング分野で見られる重要な変化を意味するために、『Delta』という名前を選んだと、次期カテゴリー1システム（OAC 2005572）のPIであるNCSAのディレクター、Bill Groppは述べている。

このシステムが 『Delta』と呼ばれているのは、今後のコンピューティングのあり方を大きく変えていくために、コミュニティを支援したいと考えているからです。」と彼は言う。「我々が見ていることの一つは、我々が偉大なアーキテクチャの革新の時代にいるということであり、それはまた、アプリケーションコミュニティが取り組むべき課題を伴っているということなのです。」

NSFのエコシステムの中で最大のGPUリソースである『Delta』には以下が含まれている。

• 64コアのAMD Epyc 7763 Milanプロセッサを搭載した124台のCPUコンピュートノードと8台のユーティリティノード
• Nvidia A100およびA40 GPUを搭載した64ビットおよび32ビットのクアッドGPUノード各100台
• 8ウェイのNvidia A100 GPUノードが5台、8ウェイのAMD MI100 GPUノードが1台、これらはすべてハイメモリノードとしても機能
• 3 PBのリラックスしたPOSIX SSDベースのストレージと、7 PBのLustreベースのストレージ

『Delta』は以下をサポートする。

• 従来のHPC、データ集約型、AI/MLの各ワークロードを、複数のコンパイラとランタイムでサポート
• SpackやEasybuildによるサードパーティ製ソフトウェアのインストール
• プログラミング環境を変更するためのモジュールユーティリティ
• Singularityや、NvidiaやAMDのベンダー提供のコンテナを含むコンテナ
• データベースやワークフロー・オーケストレーションなど、ユーティリティー・ノードがサポートする永続的なユーザ・タスク
• サイエンス・ゲートウェイ・コミュニティ・インスティテュートとの重要なパートナーシップおよび複数のゲートウェイ・コミュニティとの連携によるゲートウェイ

Deltaチームは、今年の秋にシステムの展開を開始する予定である。Deltaについての詳細は、http://www.ncsa.illinois.edu/enabling/delta を参照。

『Voyager』科学・工学分野におけるAIプロセッサの探求

カテゴリー2の『Voyager』システム（OAC 2005369）のPIであり、サンディエゴ・スーパーコンピュータセンターのData Enabled Scientific Computing部門のディレクターであるAmit Majumdarは、次期プラットフォームがユニークなコンピューティングリソースを使用することを紹介した。HabanaラボのAIトレーニングおよび推論アクセラレータである。Supermicro社のサーバに搭載されているインテルのXeon Scalable CPUと組み合わせることで、このシステムは多くの領域でAIに特化した高性能・高効率の研究を探求することになる。

「『Voyager』は、科学や工学におけるAIプロセッサを探求するための革新的なリソースです。」とMajumdarは述べている。「『Voyager』は、科学技術分野におけるAIプロセッサを探求するための革新的なリソースです。トレーニングノード間の高速な相互接続により、トレーニングモデルのスケールアップが可能です。」『Voyager』は以下を提供する。

• 8個のHabana Gaudiプロセッサ、Ice LakeホストCPU、6TBのノードローカルストレージを搭載した42台のトレーニングノード
• 8個のHabana Goyaプロセッサと3TBのローカルストレージを備えた推論ノード2台
• 36台のIntel x86 CPUコンピュートノード
• オンチップの400GbE Arista Gaudiネットワーク
• 25GbE接続でアクセス可能な3TBの高性能ストレージシステム
• 同じく25GbEで接続された288TBのホームファイルシステム
• TensorFlowやPyTorchなどのディープラーニング・フレームワーク
• 『Voyager』のアーキテクチャに特化したソフトウェア・ツールやライブラリで、ユーザーによるAI技術の開発を可能にする。

『Voyager』の納入は今年の9月を予定している。チームは現在、HabanaラボのユニットにリモートアクセスしてGaudiトレーニングノードの性能をベンチマークし、サンディエゴ・スーパーコンピュータセンターでGoya推論カードをテストし、AIワークフローのためのcnvrg.ioを評価している。より詳しい情報は、majumdar@sdsc.edu の Majumdar にお問い合わせを。

『Expanse』: 境界線のないコンピューティング

SDSCの副所長である共同PIのShawn Strandeによると、PIのMike Normanが率いるカテゴリ1の『Expanse』プロジェクト（OAC 1928224）は、5ペタフロップスのHPCとデータリソースを研究コミュニティに提供している。2020年12月に本番運用を開始したXSEDE割り当てシステムは、システムやアプリケーションソフトウェアの多様化が進む中で、適度な規模で行われる計算科学や工学の研究を幅広くサポートするために設計された異種混合HPCリソースである。

このシステムでは、外部との統合が大きな課題となっている。

「これらのマシンを孤立させたくはありません。コミュニティは、パブリッククラウド、機器、データソース、Open Science Gridのような他のスケジューリングインフラとの統合など、外部リソースとの接続を強化することを期待しており、科学はシステムを推進しています。これこそが『境界線のないコンピューティング』という意味です。」とStrandeは述べている。

『Expanse』の機能

• HPCリソース
  • 13台のノンブロッキング・スケーラブル・コンピュートユニット
  • AMD Epyc Romeコアを搭載した728台のCPUノード
  • フルシステムで93,184コア、HDR-100ノンブロッキング・ファブリックで7,168コアを搭載
  • Nvidia V100 GPUを208台搭載した52台のGPUノード
  • 4つのラージメモリノード
• データ重視のアーキテクチャ
  • 12 PB PERF. 140GB/s、200K IOPSのストレージ
  • 高速I/O、ノード・ローカルNVMeストレージ
  • 高性能なR & Eネットワーク
  • 2021年8月以降、7 PBのCephオブジェクトストレージ
• 革新的なオペレーション
  • コンポーザブルシステム
  • ハイスループットコンピューティング
  • サイエンスゲートウェイ
  • インタラクティブ・コンピューティング
  • コンテナ
  • パブリッククラウドとの連携

『Expanse』は、信頼性とパフォーマンスを向上させるために、直接水冷方式を採用しているのが特徴である。

Strandeは、「これらは高密度で電力を必要とするマシンです。今後、同様のデザインのシステムを空冷することは非常に困難になるでしょう。」と述べている。