ハリケーンの力のスーパーコンピューティング：Sandyのペタスケールシミュレーション

Peter Johnsen, Mark Straka, Melvyn Shapiro, Alan Norton & Tom Galerneau

わずか1年前、米国の北東海岸にハリケーンSandyの上陸によって被った荒廃は、数値気象予報の精度と信頼性のさらなる発展の必要性を例示する。最大のスーパーコンピュータ上の数十万のプロセッサ上で行った高解像度数値気象シミュレーションは、これら深い洞察力を提供する。

国立大気研究センター(NCAR)気象研究所と予測(WRF)モデルは、ハリケーンSandyの上陸をシミュレートするために40億ポイント以上の実際のデータを使用して最大化直前の嵐の予測モデルで採用されている。イリノイ大学のスーパーコンピュータ応用国立センターにある、かつてない13,680ノード(437,760コア)のCrayXE6 Blue Watersスーパーコンピュータを使用し、Cray社からのPeter Johnsen、NCSAからMark Straka、NCARからMel Shapiro、Alan NortonとTom Galarneauのチームは、いかなる気象モデルも到達していない前例のないレベルの性能を達成した。モデルは、500メートルの極めて微細な解像度で約40億格子点を使用した。予測データは、NCAR VOPOR可視化スイートを使用してNCARチームのメンバーによって書かれ、分析された。

2012年10月30日の遅くにニュージャージー州の海岸線に沿ってハリケーンSandyの上陸は、ニュージャージー州からロードアイランド州へ伸びる壊滅的な高潮をもたらした。ここで強調された研究は、非常に微細な空間解像度で、比較的大きな領域にわたって強烈なサイクロンの雲解像度のWRF-ARWシミュレーションを行うNCSA/Cray Blue Watersのスーパーコンピュータの性能を実証している。

Blue Watersシステムは362,240基のAMD 6276「Interlagos」プロセッサと4,224基のNVIDIA GK110 Keplerアクセラレータで構成され、その全てがCrayのGemini 3D(24^3)トーラスインターコネクトによって接続されたCray XE/XKハイブリッドマシンである。それは、現実世界の科学と工学のアプリケーションの範囲において1Petaflopの実効性能を提供する。我々の動機は、主要なソースコードの再構築なしに我々の管理下にあるできるだけ多くの解決策のための時間を削減することであった。WRFバージョン3.3.1のソースコードは、MPIタスクあたりのI/O負荷の削減と単一MPIランクに必要な情報の制約についての懸念があり、主に公的な分布コードから改変された。

トポロジの検討は、不可欠である

Cray XE6ジョブスケジューラ(ALPS)のMPIランク順列機能を使用して、ドメイン構成およびプロセスレイアウトは効率よくXE6 3Dトーラスインターコネクトを効率的に使用する礎を形成し、そしてWRFがこれを成功裡に拡張することを可能にする。私たちは、最近傍とのハロー交換であるWRFソルバー内での主要な通信パターンのためのランクの改良配置を生成するためにCray grid_orderユーティリティを使った。ノード外の隣接通信回数を減らすことが、第一の目標である。代替配置を使用すると、デフォルトの配置であるように同じノード上の大部分のMPIランクのため2つだけではなく3つの通信相手を持つ事が許される。非常に高い規模で、この戦略は18％以上の全体のWRFの性能を向上させる。

我々は、AMD Bulldozerコアモジュール上でWRFを実行するための最も効果的な方法は、MPIランクあたり2つのOpenMPスレッドを利用し、WRFの「ハイブリッド」MPI/OpenMP構造を活用することである。これは、各XE6ノード上に16MPIランクを置く。

我々が採用した最適化配置はまた、ノード外により小さな東西方向のメッセージ交換とノード上に可能な限り多くのより大きな北西方向のメッセージを保つという利点があり、結果的にネットワーク越しに75％少ないバイト数で送ることができた。我々は、これが内側計算ループ上でより長いベクトルを導くように、Y方向よりX方向に多くのより小さいMPIランクでWRFの領域分解を行うという古くから知られた戦術を実験的に立証した。

我々のシミュレーションは、シミュレーション時間ステップあたり毎秒32.454Tflopの平均Tflops値を得た。並列化効率は、依然13,680 XE6ノードでも約60％を超えた。合計280GBの1200万以上のノード間ハロー交換メッセージは、すべてのWRFの時間ステップで処理された。

規模におけるI/Oの検討

Blue Watersシステムにおいて、Lustreファイルシステムがすべてのファイル処理のために使用された。

二つの技術は、Sandyシミュレーションのための大規模なI/O要求を処理するために使用された –

1. ノースウェスタン大学とアルゴンヌ国立研究所によって共同開発された並列NetCDF(PnetCDF)は、ここで実用的に使用された。CrayのMPICHライブラリは、Lustreファイルシステムを伴う並列I/O用に調整されたチューンドMPI-IO実装を持っている。この形式は、後処理ツールが使用される場合に必要とされる。
2. WRFは、各サブドメイン、またはMPIランクでの複数ファイルのオプションがあり、固有のファイルを読み書きする。これは、非常に大きなリスタートファイルと前処理ステップの一部で使用した。Blue WatersのLustreファイルシステムは、4,560ノードの場合、18秒で145,920リスタートファイルを開き、読みことができた。

加えて、最も大きな興味の出力フィールドをのみを選択するためにWRFの補助履歴の出力オプションを使用することは、かなりの出力量を減らすため、我々の仕事に非常に有用であった。

ハリケーンSandyのスケーラビリティが実行。Teraflops(Y軸、左)の実効性能と8,192コア(Y軸、右)上の基礎実行以上の並列化効率が示される。

予測分析と検証

以下の図は、3kmと500mの水平解像度でのシミュレーションから最大レーダー反射率(降水量の代わり)の比較を示す。両方のシミュレーションでは、豪雨の幅広い領域は、Sandyの西と南西側に位置しており、暖かく湿った北東の流れが冷たい大陸の空気(表示せず)の北西のうねりと交差する領域で組織化されている。

最大レーダ反射率(dBZでのカラーバーに応じた陰影)の(a)3kmと(b)500mの水平解像度ARWシミュレーションの比較は、2012年10月29日15時UTC(協定世界時間)で確認。

対流降雨バンドの微細スケール線形構造を示しているため、500mシミュレーションは、3キロのそれよりも優れており、利用可能な観測(表示せず)と一致する。次の画像は、2012年10月29日18時UTCでのSandy内核内の最大レーダー反射率と300m風速の拡大図を示す。この拡大図は、シミュレーション解像度(7000×7000格子点)が標準的なコンピュータモニタの解像度の7倍を超えていることに注目し、シミュレーションの完全な詳細を検討することを可能にする。ここでは、微細スケールの乱流運動と個別の雲・降水システムによるストーム規模の循環に及ぶ規模の全範囲を表現するために、超高度な計算能力の有用性に言及する。

(a)最大レーダー反射率(dBZでのカラーバーに応じた陰影)の500m ARWシミュレーションと(b)300m風速(m s-1でのカラーバーに応じてた陰影)は、2012年10月29日18時UTCで確認。

降雨、圧力、風​​速、およびストームトラックのような重要な出力フィールドを予測するためのモデル精度は、NCAR VAPORソフトウェアスイートを使用して嵐からの実際の大気測定に対してグラフを用いて検証した。VAPORソフトウェアによって例示されるような大容量地球物理データセットにアクセスし、表示する最近の進歩を得て、数値シミュレーションと大気や他の地球物理学システムの予測の完全な時間展開を見ることが現在可能である。VAPORでのハリケーンSandyの高度な視覚化の例を、次のURLで見る事ができる：

https://www.vapor.ucar.edu/sites/default/files/movies/sandy_SC13_web_0.mp4

本研究の結果は、昨年11月のスーパーコンピューティング会議で発表された。ここの会議の議題を参照。

http://sc13.supercomputing.org/schedule/event_detail.php?evid=pap255

最先端予測

NOAAは、 リアルタイムの微細スケールなハリケーン予測の可能性を模索し、様々なモデル化アプローチを評価する10年ハリケーン予報改善プロジェクト(HFIP)を開始した。その強化されたハリケーンWRFモデル(HWRF)は、既にやや小さい規模でリアルタイムに実行されている。NOAAのハリケーン研究部門と環境モデリングセンター、Cray、NCSAおよびNCARの参加する恊働活動において、このコードは以前は不可能だったグリッドネスト構造を伴う規模での性能調査を進めるためにBlue Waters上で既に実行されている。結果は、来年のハリケーンシーズンでこれらのシミュレーションによって生成されたより微細で詳細なリアルタイム予測を取り入れることができるようになることを既に見込まれている。チームはまた、COAMPSモデルを使用した米海軍研究局ONRとの高解像度シミュレーションを模索している。

研究チーム：

Peter Johnsenは、Crayのパフォーマンスエンジニアで気象学者である、Peterの専門は、HPCシステムにおける環境アプリケーションの最適化である。

Mark Strakaは、スーパーコンピューティング応用国立センターでBlue Watersシステム上での科学アプリケーションの性能分析を専門としている。

Melvyn Shapiro、Alan Norton、Thomas Galarneauは、国立大気研究センターの研究気象学者であり、ハリケーンSandyのユニークな性質を含む多くの気象現象を研究している。