NASAの地球科学スーパーコンピュータが3.3ペタフロップスに浮上

Tiffany Trader

前例のないアップグレードと呼ばれているものの中で、NASA気候シミュレーションセンター(NCCS)はそのDiscoverスーパーコンピュータのピーク性能を3倍の3.3ペタフロップス以上にしており、NASAの地球科学モデリング研究を強化している。

公開調達プロセスにはNCCSのコードによるベンチマークが含まれている – 特にゴダード地球観測システムモデル・バージョン5(GEOS-5)およびNASA統一気象および研究予報(NU-WRF)モデルだ。性能と価値基準をベースとしており、SGIが14コアのインテルE5-2697v3 “Haswell”プロセッサを搭載したRackableクラスタを提供することで選ばれた。

アップグレードを通して数カ月前に部分的に撮影された写真において、NCCSスーパーコンピュータは45,600プロセッサ・コアでピーク性能が1.995ペタフロップスを有していた。マシンの見える「スキン」には、ハリケーン・サンディの観測されたものとシミュレーションされた画像が貼ってある。このDiscoverスーパーコンピュータの新しいSGI Rackableクラスタは合計で64,512プロセッサ・コアを搭載している。クレジット:写真提供 NASA/ Goddard/Bill Hrybyk

NCCSはSGI Rackableハードウェアの3つのスケーラブル・演算ユニット(SCU 10,11および12)を現在インストール中であり、合計で64,512プロセッサ・コアを提供する。

Discoverは – NASAの格言である「探求、発見、理解」から名付けられている – コモディティ部品で作られた複数のLinuxスケーラブル・ユニットから構成されている。最初のスケーラブルDiscoverユニットは2006年の秋にインストールされており、その当時からいくつかのアップグレードを経てきた。この新クラスタは2011年のDiscoverの部分を置き換えるものである。

現在の形態においては、Discoveryの個々のスケーラブル・ユニット(SCU8,9,10および11)の総計は67ラック、合計64,200コアが組み込まれており、演算能力で2.678ペタフロップスとなっている。SCU10は1月に一般提供しており、SC11は現在、先駆ユーザ・モードである。SCU12は5月後半に到着予定だ。

NCCSはWebsite上でインストールを成功に導くための3つのステージについて説明しており、ベンダー、NCCSのシステム管理者およびベンチマークチームおよびシステムをそのペースにしているパワーユーザの役割について詳述している。ひとつの成功した試験として、SC10クラスタ全体を使って超高解像度のGEOS-5シミュレーションを実行させたことがある。

NASA　Discoverのシステム管理者であるMike Donovanは、典型的なNCCSのインストールのペースは1年毎にSCU1台であるが、7カ月で3台のSCUを構築するのは予定通りであるとしている。これらの作業はNCCSのテクニカルおよび施設スタッフとコンピュータ・ベンダーにおける緊密な共同作業を必要とする。SCUの交換は混乱を避けるために慎重にタイミングを合わせなければならないのだ。

「私達は事前に少なくとも1週間は古いハードウェアを持っていたいと思っています。」とDiscoverのシステム管理チームのリーダーであるBruce Pfaffは語っている。「しかし、私達はまた、ユーザが古いシステムといる時間を最大化したいし、インストール中の制限されたリソースの期間も最小化したいとも思っています。」

オーバーホールの計画は1メガワットの電力と、400トンの冷却装置が必要なことを意味している。ラックは現場での最適な運用のために、工場出荷維持に構築されていなければならないし、NCCSはまた試験および開発システム(TDS)用に10ノードを取得している。廃棄プロセスの一部として、古いハードウェアからデータを破砕処理することも重要である。

新SGIクラスタのハイライトは、28コアのノードが毎秒56ギガビットのFDI InfiniBandで直接他の全てのノードと通信することができる完全非ブロッキング・インターコネクト・ファブリックである。この拡張は、演算とI/Oの包みを押し上げ続ける科学的ワークロードによって引き出されている。データ量もまた増えてきており、NCCSにおける高解像度シミュレーションは数ペタバイトのデータを生成できるのだ。十分なストレージ空間を保証するために、NCCSはDiscoverのオンラインディスクの容量を12.4から33ペタバイトの2倍に増強している。