米国家核安全保障管理局、ペンギンコンピューティングで7-9ペタフロップスのオープンHPCクラスタへ

Tiffany Trader

新規に調印されたPenguin Computingとの契約によって、米国エネルギー省の国家核安全保障管理局　(NNSA)は2011-2012年代のシステムをリプレースするコモディティ・スーパーコンピューティング環境の3回目の共同調達を設定している。トライラボ(3研究所)コモディティ・テクノロジー・システム 1もしくはCTS-1と呼ばれるこの新しいシステムは、トライラボLinuxキャパシティ・クラスタ2(TLCC2)をリプレースするものだ。TLCC2は3ペタフロップスの総演算性能を提供しているが、このPenguinクラスタは7-9ペタフロップスとなり、今後のBroadwell-EPプロセッサを採用している。

3千9百万ドルの3年契約は、Penguinのオープン・コンピュートであるTundra Extreme Scale (ES)シリーズ・アーキテクチャと共にNNSAの先端シミュレーション・コンピューティング(ASC)プログラムを提供し、ロスアラモス、サンディアおよびローレンスリバモア国立研究所での国家安全保障のワークロードを支援するのだ。ASCが確率した調達ガイドラインによると、選考プロセスは主に、「性能特長、サピライヤー属性、および価格」にフォーカスされた。

NNSAが指摘するように、計算技術の進歩は、HPCシステムのコストを下げており、1995年のテラフロップス当たり約100,000,000ドルから、2011-2012年においてはテラフロップス当たり17,000ドル以下(約6,000分の1)に、現在では5,000ドル以下に落ち、これは約20,000分の1だ。

これはPenguin Computingにとって最大の勝利であり、またオープン・ハードウェア・モデルの検証ともなるのだ。「CTS-1は、オープン・コンピュートおよびオープン・ラック設計の要素がハイパフォーマンス・コンピューティングにどのように適応し、インターネット企業における最初の開発のような利益をもたらすかを示すものです。」とPenguin Computingの最高技術責任者であるPhilip Pokornyは語っている。

Tundra ESシステムは、Facebookがオープン・コンピュートとして紹介し導入したフォームファクターを活用しており、増大した密度、効率および保守性に狙いをつけてHPCに拡大させている。例えば、Facebookの標準の場合には2Uに3台のサーバを入れることができるのに対して、Tundraは3台のデュアルプロセッサ・サーバを1Uに水平方向に入れることができ、基本的に密度を倍増している。このアレンジではラック当たり最大96ノードを関連する共有電源基盤とファブリック/ネットワーク・スイッチと搭載できる。Emerson Network Powerの高出力装置により、現在のOCP制限である最大12kWと比べて、Penguinはラック当たり最大52.8kWを提供可能だ。（しかし現在の装置の最大はこの最大制限以下である）

液体冷却技術はAsetek(詳細はこちら)が提供する。Penguinによると、液体の熱交換は高密度ラック設計においては重要な要素であり、特に高度が高い設定においては、冷却が課題である。Penguin Computingの広報担当は、より高密度な計算とエネルギー効率のニーズを満たすことにおける経済的転換点に達する技術として、液体冷却にもっと関心を持って見ていると語った。

ストレージに関しては、Tundra ESラックの管理ノード内に少量のストレージがあるのと、さらにTundraは例えばもっとデータに最適化されたワークロード用の統合されたストレージをサポートすることができるが、現時点においてはDOEは別の調達で画一的なストレージのニーズを処理する予定だ。

備蓄管理プログラム(SSP)用のシミュレーション能力と計算リソースを提供するミッションのライン上で、ASCは2種類の計算プラットフォーム・クラス用の取得プログラムを動かしている:コモディティ・テクノロジー・システム(CTS)とアドバンスト・テクノロジー・システム(ATS)である。Penguinとの契約は最初のCTS調達であり、一方、Crayは最初のATSシステムであるTrinityを供給するように選考されており、現在ロスアラモス国立研究所の戦略コンピューティング・センターで建設中だ。

CTSのモデルは、3研究所に渡って標準ハードウェアおよびソフトウェア環境を採用することで、トライラボの調達力を最大化するように設計されている。「複数の政府会計年度に渡ってすべての3研究所サイトにおいて共通ハードウェア環境を複数回展開することで、1台のクラスタに関連する時間とコストを大幅に削減するのです。」とRFPは説明している。

	“Relion 1930e server sled”

(NNSA/ASCプログラムオフィスのドキュメントによれば)これに対して、アドバンスト・テクノロジー・システムは、「ハイパフォーマンスコンピューティング・プラットフォーム市場の先駆者であり、成功した場合、組み込まれた機能は将来のコモディティ技術となります。これらの大規模な初のユニークなシステムでは、新技術が提供する抜群の機能を最大限に活用するために、アプリケーションソフトウェアの変更が必要になります。」

Penguin Computingのエンジニアリング・サービス副社長であるDan Dowlingはさらに説明し、この契約はNNSAが開発した「スケーラブル・ユニット」またはSUの概念に基づいており、150から200ノードのレンジの小さめのクラスタで、LEGOのように接続することでさらに大きなシステムを構築できるのだ。アーキテクチャを求める最初のプロポーザルでは、「1台から24台のSUを単一のクラスタとして集約する柔軟性」としている。このモジュラー・アプローチは、製造、出荷、インストールおよび受入プロセスを合理化することを目的としているが、この特長によって各研究所がミッションのニーズに応じてSUをクラスタに組み込むことができるということだ。

このSU方式は、3研究所に共通のLinuxクラスタ・ハードウェア環境を作り、管理を簡素化し、ソフトウェアの変更を最小化し、エンドユーザに対する可用性を最大化している。ASCが使い慣れた環境から利益をとるのと同時に、彼らは継続的な技術改良を活用できるようにしたいのだ。この点において、3研究所のパートナーに追加のラックを提供し、GPGPU、PhiコプロセッサやARMチップのようなヘテロな計算要素を使えるようにすることについて議論を行っているが、最初の契約では標準x86のパーツのみが指定されている、Penguinは語った。
これは前述のBoradwell-EPラインで、Penguinは「費用対効果があり、信頼性の高いシステム性能のために」まもなくRelion 1930eサーバに入れる予定だ。Tundraは実際にはインテルのスケーラブル・システム・フレームワーク原理の上で設計されている。

このHPCクラスタは研究所に2016年4月から2018年9月の間に供給される。各スケーラブル・ユニットは約200テラフロップスの演算能力があり、合計で7ペタフロップスになった際にはおおよそ35台のSU(約70ラック)となる。これは少なくともプロセッサ当り0.5テラフロップスの性能となることを意味している。実際の数値は高くなるだろうが、インテルはまだプロセッサの仕様を明らかにはしていない。この話題に関するインテルの最新の公式声明によると、チップの発売は2015年第4四半期から2016年第1四半期にずれたとしている。