前回に続き、JAMSTECの地球情報基盤センター訪問のレポートをお届けする。後編ではアプリケーションなど、研究に関して伺ったお話しを、仮想問答形式にまとめた形で報告したい。

海洋循環の再現とその活用

気候変動適応技術開発プロジェクトチームのプロジェクト長である石川博士に、「海洋循環の再現とその活用」というタイトルでお話しを伺った。

HPCwire: FORA-WNP30（Four-dimensional variational Ocean ReAnalysis -Western North Pacific over 30years）プロジェクトについておき書かせください。

石川氏:「地球情報基盤センターと気象研究所 海洋・地球化学研究部との共同研究で、北西太平洋に関する約30年分の高解像度海洋長期再解析データを作成し広く一般に公開するものです。 地球シミュレータの特別推進課題としても紹介されていましたが、地球シミュレータの2.5%を占有して70日かけて計算された結果です。」

HPCwire: FORA-WNP30の目的は何でしょうか？

石川氏:「「日本周辺の海洋環境情報（海面高度、水温、塩分、流速など）を水平解像度0.1度（約10km）という高分解能で再現した毎日のデータが30年分蓄積されています。気候・海洋環境変動の研究のための基礎データとして利用できるのは勿論ですが、海運業、水産業においても、運航や餌環境に関する調査などに海流や、水温データを利用することができると思います。また、沿岸防災を考える際に必要となる基礎データを提供できます。」

HPCwire: なぜ再解析なのでしょうか？

石川氏:「天気予報などの一般的な予報では、解析予報サイクルを一定間隔でまわします。観測データを一定量ためて最新のデータを使って予報をくりかえすわけです。これにたいして、『再解析』とは過去のデータに対して解析予報サイクルを適用する。つまり解析を過去にさかのぼってやり直すことから『再解析』とよばれています。FORA-WNP30では最先端のデータ同化手法「4次元変分法」に、新しい「海洋・海氷モデル」を組み込んだものが用いられています。」

HPCwire:デ ータ同化とはどういう処理ですか？

石川氏:「観測値とシミュレーションによる予測値から、ある時刻の整合のとれた物理量分布を求める事を『データ同化』と呼んでいます。その値が、次のステップのシミュレーションの初期値として使用されます。そのデータ同化手法として、4次元変分法を用いています。4次元変分法は、予測値を観測値に近づける修正を行いながら繰り返し計算を行う手法なので、計算コストが高くつきます。しかし地球シミュレータなら可能ということで、特別推進課題として実施しました。地球シミュレータの部分占有状態が持続できるので、前回のシミュレーション結果を読み込み直すというステージング処理が省略できて、大幅な時間節約ができました。」

HPCwire: 水産業への活用例としてのアカイカ漁サポートとはどの様なものですか？

石川氏:「海洋環境（水温や塩分、流速など）と実際にアカイカがとれた場所を比較、いろいろな環境が良かった場所を総合することで、アカイカのとれそうな場所を推定する、所謂「水産ビッグデータ処理」を行い、毎週アカイカ漁海況情報配信ウェブサイトにて発信しました。漁場近辺の水深300m前後の水温情報が重要ということで、データ同化計算、海況予測計算を情報発信にあわせて繰り返し行いました。北西太平洋の漁場で操業中のイカ漁船団は、衛星通信によりその情報を参照して漁労方針を決定します。参照した海況情報により、漁場探査の効率化や燃油消費の削減を図ることができたという報告を得ています。」

HPCwire:  今後の研究に対する抱負をお聞かせください。

石川氏:「リモートセンシングデータをはじめ様々なデータをデータ同化システムにより統合する事により、数値モデルの不確実性を減らし、『海の天気予報』、海洋内部の環境情報の活用、予測情報等と組み合わせた水産海洋情報サービスへと発展させていきたいと考えています。」

全球地震波伝播シミュレーション

次に、3月25日にHPCwire Japanでも紹介された、全球地震波伝播シミュレーションについて、JAMSTECの地球情報基盤センター・地球情報技術部長の坪井博士にお話しを伺った。

坪井氏: 海洋研究開発機構は、2011年4月～2016年3月までの5年間「HPCI戦略プログラム分野3 防災・減災に資する地球変動予測」の代表機関として、スーパーコンピュータ「京」を使用したシミュレーション研究も行っていて、 3月に発表した成果は「戦略プログラム 分野3」の研究の中で、世界最高精度での全球地震波伝播シミュレーションに成功したものです。

HPCwire: まず全球地震波伝播シミュレーションとは、どのようなものでしょう？

坪井氏:「地震の揺れは地震波として、地球全体に伝播していきます。その際に地震波は、地球の形状、地表や海底の地形、そしてマントルや核といった地球内部構造などの影響を受けます。それらを考慮した三次元地球モデルを基に、SEM（スペクトル要素法）による地震波の伝播シミュレーションを行いました 。」

HPCwire: どのような計算でしょうか？

坪井氏: 今回の計算は、「京」の82,134ノード（全ノードの99%：657,072コア）を使用して、 総格子点数6,652億、自由度1.8兆、地表における格子点間隔0.67km、周期1.2秒の精度で7分間の理論地震波形計算をメモリ200TBを使用して、約6時間の計算時間で実行しました。「京」を占有して使う必要があり、数少ないチャンスの中で成果を得ることができました。」

HPCwire: どのようなチューニングが必要だったのでしょうか？

坪井氏:「あるサブルーチンが全体の8割の計算処理を行っていたので、それを対象にチューニングを施しました。「京」の持つ並列処理機能であるSIMD命令、スレッド、MPIを有効に利用すべく各レベルでの最適化を行いました。キャッシュ待ちの現象を減らす工夫もおこないました。具体的には、ループ分割、ループ融合、if文のループ外への移動、アレイ統合などを実施しました。また、コア単位のフラットMPIでは16万コアを越えるあたりから、メモリ不足が発生するため、MPIはCPU単位として、CPU内はスレッドレベルの並列化をOpen MPディレクティブを使用して行いました。」

HPCwire: ノード当たりの負荷を変えずにノード数を増加させてどこまで大規模問題が効率的に計算できるかという指標であるウィーク・スケーリングはいかがでしたか？

坪井氏:「ノード数を24ノードから最大で3,025倍の72,600まで、各ノードに同様な負荷を割り振って計算しました。 24ノードで計算した時の演算性能を100％とした時に、72,600ノードでの計算時には97.9%の性能が得られ、高いウィーク・スケーリングを示しました。周期1秒の精度で計算するには、「京」相当のシステムであれば12万ノードあればできそうだという事も判りました。」

HPCwire: 同一問題をノード数増加によりどれだけ短時間で計算できるかというという指標であるストロング・スケーリングはいかがでしたか？

坪井氏:「36,504ノードを使って計算した問題を、2.25倍の82,134ノードに分割して計算すると、経過時間で2.24倍のスピードアップが得られました。36,504ノード時の演算性能を100％とすれば、82,134ノード時の演算性能は99.54%となり、非常に高いストロング・スケーリングを示すことができました。」

HPCwire: 1.24ペタフロップスの実行演算性能についてはいかがですか？

坪井氏:「理論最大性能の20％は必要という説もありましたが、あるサブルーチンが全体の8割の計算処理を行っているという実アプリケーションで、11.84%の1.24ペタフロップスの実行演算性能にはそれなりに満足しています。」

HPCwire: 今後の研究についてはお聞かせください。

坪井氏:「現在、最適化したスペクトル要素法のプログラムにより関東平野規模の地下構造を推定するために、地震波速度構造モデルの構築を行い、観測地震波の逆解析である波形インバージョンを進めています。」

最後に

地球情報基盤センターでは、海洋地球科学と情報科学の融合によって社会的・環境的・経済的な新しい価値を生み出す「海洋地球インフォマティクス」という新たな分野にチャレンジしているとのことです。観測、シミュレーション、可視化の三本柱が統合・融合される中からそれは生まれてくるのでしょう。その兆しを伺うことのできた地球情報基盤センター訪問でした。

お話し頂いた各氏には、ご多忙の中わざわざ時間を割いて頂き誠にありがとうございました。また、訪問のアレンジをして頂きました地球情報基盤センター企画調整室の高津様には文末になりましたがお礼申し上げます。