世界のスーパーコンピュータとそれを動かす人々


3月 9, 2017

TSUBAME 3.0、次期HPE Pascal-NVLink-OPAサーバ

HPCwire Japan

Tiffany Trader

先日のTSUBAME3.0スーパーコンピュータに関するレポートに続いて、この革新的なプロジェクトの詳細がさらに明らかになった。 NvidiaのDGX-1システム、IBMのMinskyプラットフォームそしてSupermicroの SuperServer(1028GQ-TXR)が競い合うスペースに、NVLink搭載Pascal P100 GPUの新しいボードデザインで参加するTSUBAME3.0が注目されている。

東京工業大学のプレス向け写真により、TSUBAME3.0がHPEブランドのSGI ICEスーパーコンピュータであることが明らかになった。 SGIが日本で長い間存在感を維持していたことを考えると、決して意外なことではない。主契約者であるSGI Japanは、東京工業大学とHPE製品ライン向けの新しいボード設計について協力してきたことになる。

20170217-TSUBAME3.0-NVLINK-XEON-OPA-board-design-300x263
TSUBAME3.0ノード設計(出典:東京工業大学)

新しいボードは、NVIDIA GPU(4)、相互接続技術NVLinkプロセッサ、Intelプロセッサ(2)、およびIntel Omni-Path Architecture(OPA)ファブリックを採用した最初の製品である。4つのSXM2 P100はハイブリッドメッシュキューブで構成され、NVLink(1.0)インターコネクトをフルに活用して、GPU間で大量のメモリ帯域幅を提供する。図に右側に示すように、四つのGPUは半分づつ独自のPLX PCIeスイッチに接続されている。そしてそのスイッチはIntel Xeon CPUと接続されている。 PCIeスイッチにより、GPUとOmni-Pathリンク間の直接的な1対1接続も可能である。東工大が発表したプレゼンテーションのスライドは、これがどのようにOPAファブリックに接続されているかを示している。

TSUBAME3.0は、540個のノードがあり、合計2,160個のSXM2 P100と1,080個のXeon E5-2680 V4(14コア)CPUから構成される。

ラックレベルでは、36台のサーバブレードから構成され、合計144個のPascalと72個のXeonが収容される。これらのコンポーネントは、入水温度32℃の温水で冷却され、冷却効率PUEが1.033となっている。「これは私が知っている他のどのスーパーコンピュータよりも低い数値になっています。」と、設計をリードしている東京工業大学の松岡聡教授はコメントしている。 (冷却システム全体図はこちら

松岡教授は次の様にも述べた。「各ノードには2TBのNVMe SSD(I / Oアクセラレーション用)があり、システム全体で1ペタバイト以上になります。 それはローカルで使用することも、一時的にバーストバッファとしてBGFSとして集約して利用することもできます。」

第2階層のストレージは、DDNのExascalarで構成されており、3ラックで15.9PB Lustreパラレルファイルシステムを実現している。

20170217-TSUBAME3.0-overview-768x403
TSUBAME3.0ノードの概要(出典:東京工業大学)

SGI ICE XAラック15台とネットワークラック2台を備えたTSUBAME3.0は、20ラック(インラインチラーを除く)で12.2ペタフロップのスペックの計算能力を提供する。これにより、TSUBAME 3.0は10ペタフロップス以上で世界で最も小さいマシンとなった。松岡教授は、1,000ラックから構成されるKコンピュータ(10.5 Linpackペタフロップ、11.3ピーク)と比較して、66倍の差であることを強調した。

TSUBAME2.0 / 2.5と同様に、新しいシステムはスマートパーティショニングを継承している。「TSUBAME3.0ノードは『Fat』ですが、柔軟なパーティショニングが必要です。」と松岡教授は述べた。 「コンテナ技術をデフォルトとして使用し、ノードを任意に分割して柔軟なスケジューリングと非常に高い利用率を実現することができます。 CPUだけを使用ジョブや、GPUを1つだけ使用するジョブでも、ノード上の残りのリソースを無駄することにはなりません。」

前回のレポートで述べたように、システム性能の合計は、12.15倍精度ペタフロップ、24.3単精度ペタフロップ、そして47.2半精度ペタフロップス、所謂AI-ペタフロップスである。

「TSUBAME2.5とTSUBAME-KFCも運用を続けるため、3機全体でのAI対応能力は65.8ペタフロップに達し、ML / AI用インフラとしては日本最大となり、K-コンピュータの6倍にもなります。」と松岡教授は述べている。

20170217-Matsuoka-presents-TSUBAME3.0-blade-300x225
TSUBAME3.0ブレードと松岡教授

先日のプレス発表で、東京工業大学と産業技術総合研究所が共同で2月20日(月)に「オープンイノベーションラボラトリ(OIL)」を開設する予定であることを明らかにした。松岡教授がこの組織をリードし、TSUBAME3.0はこれらの共同作業に部分的に利用される。 OILの主なリソースは、11月下旬(2016年)に発表されたABCIという大規模なAIスーパーコンピュータである。したがって、2017年夏の運用開始目標を持つTSUBAME3.0は、いくつかの点でABCIの試作機の役目を果たすことになる。

松岡教授はHPCwireに次の様に語った。「TSUBAME3.0は、他のGPUベースのスーパーコンピュータを含め、既存のスーパーコンピュータと比べてクラストップにあると思います。技術的な妥協は全くありません。したがって、マシンの効率はあらゆるメトリックスにおいて非常に良いものになるでしょう。」