スパコンにおける大規模シミュレーションのポスト処理環境の重要性

日本国内の学際大規模情報基盤共同利用・共同研究拠点８つの内の１つである東京工業大学学術国際情報センターの副センター長である青木尊之先生に、TSUBAME3.0を使った流体物理現象の解明に関する研究と、その研究を支えるポスト処理についてお話しを伺いました。

これまで青木先生は、GPUを使ったアプリケーション開発とその高速化という視点で研究を続けて来ており、AMR (Adaptive Mesh Refinement) 法のような限られたメモリ空間を有効に活用する手法を開発し、情報学分野の高性能計算の視点で多くの貢献をされています。これらの研究は、科研費の基盤研究(S)を取得して実施するなど、これまでに非常に高い成果を上げており、特に多数のGPUを使った動的な計算領域の分割などの例は、有限の計算資源を効率良く実行する上で、どのような規模のスパコンが今後構築されたとしても有効で、非常に強力な手法として位置づけられるはずである。最近では、新たに科研費の工学分野の流体工学でも基盤研究（S）を取得されるなど、以前と違ったアプリケーション側に立った、学際的視点で計算機を活用する研究に向けて、精力的に取り組んでいます。

これまでの青木先生の研究成果は、気液二相流シミュレーションや、津波シミュレーション、そして、剛体のシミュレーション等のように、ビジュアルな、目に入ってくる形で提供されているために非常にわかりやすく、実際の現象が計算機の中で再現されている事が理解する事ができます。是非研究室の動画を多くの方に是非見て貰えばと思います。（http://www.sim.gsic.titech.ac.jp/Japanese/Gallery/index.html）

これら一連の動画を見た多くの方は、ゲーム機のCG動画と何が違うのか分かりにくいかもしれませんが、青木研究室の動画は物理の方程式を忠実に解いているため、剛体も流体も極めて高い精度でシミュレーションされています。例えば津波のシミュレーションでは、一億個の粒子を256枚のGPUを使って、実際のリアルな事象を再現してリアルな動画が作成されています。ところが、このような正確で大規模な物理シミュレーションの殆どは、リアルタイムに動画を生成していない事は、あまり知られていません。

青木先生の研究室でも、TSUBAME3.0で、シミュレーションプログラムを実行し、ストレージ上に記録された大量のデータを、ポスト処理のレンダリングプロセスを経て、動画ファイルを作成しています。私も以前、青木先生から、WRFモデルを使った高解像度の気象シミュレーションの話を伺ったときにレンダリングのポスト処理の存在について教えていただき大変驚いた記憶があります。レンダリング処理自体はそれほど複雑な作業ではないですが、その処理を行う毎に大量のデータを移動させる事は研究にとって大きな負担となる事を知っておきべきでしょう。

HPC業界では、データのあるところで計算処理をするのが概ねセオリーであるため、レンダリングの処理や結果の確認などの可視化作業がシームレスに行う事ができるインフラをスパコンに持たせる事は、研究のターンアランドを考えた時に重要な要素となります。

そのような要求からTSUBAME3.0には、シミュレーション計算結果が保存されるLustre領域とHome領域へのデータにアクセスできる接続構成で、NVIDIAの仮想GPUシステム構成されたVDI環境を採用しています。特に可視化などサーバ側の高性能ワークステーションのグラフィックスリソースをネットワーク経由で画面イメージのみを転送し、手元のPCやタブレットなどのデバイスの機種や性能に依存することなく提供できる事で、レンダリングされた後の動画をストレス無く表示できる点で有効です。

これは、スパコンを計算資源という見方ではなく、研究環境のプラットフォームとして活用する姿が見えてきます。もちろん、VDI環境に接続するデバイスのネットワークの帯域など、実際の運用では環境要因も使用感に影響しますが、アカデミックのスパコンでは、歴史的にダム端末から始まる多くの専用端末の利用実績がある分野でもあるため、Xがモタつく印象を常に持つ世代としては、NVIDIAの仮想GPUが実装されたVDI環境を採用した事は腑に落ちる事例でした。

可視化をポスト処理として必要とする研究分野では、今後このような利用事例は大きな助けになるでしょう。恐らく、今後のスパコンの調達では、VDI環境をさらに高度化した利用環境を、利用者に提供する事が一般的になるかもしれません。

今回のTSUBAME3.0の仮想GPU を利用したVDI利用事例については、今後のスパコンのエコシステムを理解する良い機会になりました。

最後に、大変お忙しい中、実に沢山の研究の裏話を聞かせていただいた青木尊之教授に感謝いたします。

専門用語

• AMR：
  適合細分化格子法(Adaptive Mesh Refinement) 、等間隔格子の実行性能を維持しつつ、高解像度の計算が必要な部分に局所的に細かい格子を動的に配置する手法
• GPU：
  Graphics Processing Unit, 元は3Dグラフィックスなどの画像描写を行う際に必要となる計算処理を行うプロセッサだが、今や汎用計算や機械学習で広く利用
• TSUBAME3.0
  東京工業大学学術国際情報センターが運用するクラウド型ビッグデータグリーンスーパーコンピュータで、CPUによるスカラー演算と、GPUによるベクトル演算を組み合わせた「混合ハイブリッドアーキテクチャ」を持つ
• VDI(Virtual Desktop Infrastructure)
  仮想デスクトップ基盤は、サーバにユーザーの仮想デスクトップ環境を複数台稼働させてサーバ側の性能を共有し、VDIに接続するデバイスにネットワーク経由で画面転送イメージだけを配信する仕組みのシステム
• Lustre
  大規模なスーパーコンピュータ等の多数の計算ノードからの並列ディスク・アクセスを提供できる高性能な分散並列ファイルシステム
• レンダリング
  一般的にコンピュータのプログラムを使い、データなどの情報から、画像や映像、音声などを生成する事を表す
• ダム端末
  古にTSS（時間分割サービス）を提供するコンピュータの利用者が使っていた端末で、ホストコンピュータに対して、文字列の送受信だけの機能を持った物