桜が散り始めた4月中頃、地球シミュレータを運用しているJAMSTEC（国立研究開発法人 海洋研究開発機構）の地球情報基盤センターを訪問した。品川から平行して走っている京浜東北線(根岸線)と京急線が横浜を過ぎて、ここ杉田界隈からそれぞれ別々の方向に進んで行く。根岸線は大船に向かって西へ、京急線は三浦半島を南に向かって三崎口を目指す。京浜東北線の新杉田駅前のビル街を通り抜けて、国道16号線沿いにしばらく歩くと大きな歩道橋に出た。そこから脇道に入り進んで行くと、住宅街の少し先にJAMSTEC横浜研究所はあった。

地球シミュレータ

システムのご説明を頂いた情報システム部　塚越眞部長

まずロビーに案内されて、そこに陳列されている地球シミュレータの歴代のチップを前に、地球シミュレータの歴史を情報システム部の塚越部長より説明を受ける。

「2002年3月に初代地球シミュレータは運用が開始されました。幅50m、奥行き65m、高さ17mの体育館のような”シミュレータ棟”は初代地球シミュレータの設置に合わせて作られた建物です。2009年3月にNEC SX−9(ES2)が設置され、現行システムであるNEC SX-ACEは昨年2015年の3月に導入されました。」

「NECのSX-ACEのカスタムメイドのベクトルプロセッサは4コアから構成されています。コア当り64GFLOPSの演算性能があり、ノード当り256GFLOPS、64GBのメモリ容量です。1筐体に64ノード格納され、80筐体で5,120ノードになります。システム全体では1.31PFLOPSの演算性能、320TBのメモリ容量です。 地球シミュレータに直結されたストレージが19PB、それとは別に17PBの大容量ストレージがあります。」と、塚越部長の口から淀みなくスペック値が語られる。

「NEC SX-ACEシステムとしては大きなところでは東北大学が2560ノード、大阪大学が1536ノードです。筐体は標準では黒なのですが、JAMSTECは海洋研究なので特別に青にしてもらっています。」と、ベクトル機の旗艦サイトであることが伝わってくる。さらに「NECも、この水冷方式を採用したカスタムLSIで、4344ピンもの高密度実装を実現した技術力を誇りにしています。」と、そのベンダーの宣伝も忘れない。

「メモリはDDR3 2000 16スロットで、ノード当り256GB/sのメモリ帯域幅を持っています。演算当りのメモリ転送能力Byte/FLOPS値は 1で、ES2の 2、初代地球シミュレータの 4に較べると、メモリが弱い様に見えますが、キャッシュの効果などによって実効性能はなかなかいいシステムに仕上がっています。」と、さすがにベクトル機を使いこなしてこられただけに、メモリバンド幅のネックには鋭い視線がそそがれている。

	広大な計算機室の半分ほどを占める現在の地球シミュレータ

研究室棟から4階の渡り廊下通って、「シミュレータ棟」へ入った所にちょっとした見学スペースがあり、そこでスクリーンを使いながら設備の話を伺った。「近くに高速道路、工場があり、建物自体が電磁シールドされています。照明も、通常の蛍光灯ではなく、ハロゲン光源と反射板を用いた間接照明になっています。」停電、耐震、雷対策も万全のようだ。 計算機室は最大15MWの給電能力があり、現状は地球シミュレータで1.5MW、全体で2MW程度の消費電力だそうだ。

そして最後にスクリーンに写っているカーテンが左右に動く。そうするとスクリーンが透明になり、スクリーンの向こうには大きな計算機室が見通せて、地球シミュレータと御対面という仕掛けになっている。「スゴーイ！」という歓声の声が見学者の中からあがるのが想像できる。

広々として整理整頓がゆき届いている計算機室へ案内されて入る。現在の地球シミュレータは計算機室の半分以下のエリアに収まっている。ワイヤレスのヘッドセットを渡されており、空調機の騒音のなかでも、筐体内部の構成や、空気の流れ方の説明を聞けるようになっている。見学者が多いセンターの気配りに感心した。

BRAVE

「シミュレータ棟」から交流棟に戻り、JAMSTECのCAVEシステム・BRAVEのデモンストレーションを情報・計算デザイン研究開発グループのグループリーダーである荒木博士のガイドで見せて頂く。CAVEシステムとは三次元の没入型VR（ヴァーチャル・リアリティ）システムであり、1990年代初頭にイリノイ大学シカゴ校で開発されたという歴史をもっている。

BRAVEは一辺が3mの立方体状のフレームに正方形のスクリーンが3枚取り付けられた小部屋のような形をしており、正面と左右側面のスクリーン、そして床面にそれぞれ立体映像を投射することができる。観察者は液晶シャッターメガネを通してその映像を立体視することができる。液晶シャッターメガネの位置と方向がモーションキャプチャシステムでトラッキングされており、移動して色々な角度からも投射映像を覗き見ることができるようになっている。浮いているバーチャルな地球を決まった位置からだけでなく横からも下の方からも自由に見られるという事だ。三次元マウスのようなコントローラーで様々な制御ができる仕組みも用意されている。

	BRAVEを実際に操作しながら説明する先端情報研究開発部の荒木文明グループリーダー

液晶シャッターメガネをつけて、BRAVEの中へ入る。浮かびあがってきたのは日本列島だが、山の高さがやけに高い。「計算領域の鉛直方向は水平方向に比べて幅が小さいので、拡大しておかないとシミュレーション結果と地形との関係が見えてこないのです。」とは荒木博士の説明だ。日本上空の一点を指定することによって、その地点を通過する風の流れを示す流線が描画される。あっという間に、数10本の流線が表示された。日本列島を縦断する複雑な風の流れが見えてきた。奄美大島あたりに大きな渦がでてきた。「台風です。台風の渦のなかに入ると、風が鉛直方向に上がったり下がったりするのが判ります。 こういった渦構造やベクトル場の観察に適した三次元の可視化環境を提供できるというのがBRAVEの特徴です。大気中の水分を示す雲密量を重ねてボリュームレンダリングで表示することもできます。従来はなかなかVRではボリュームレンダリングは計算負荷が大きくて人の動きに追従させるのが難しかったのですが、3Dテキスチャーマッピングの手法を用いることで可能となりました。」と、荒木博士の説明は続く。

シミュレーションの高精度化に伴い、より複雑な現象が扱えるようになってくると、これまで容易に見いだせなかった知見をこういったCAVEシステムを用いて簡単に短時間に見いだす事ができそうだ。

運用状況

場所を会議室に移し、地球シミュレータの運用について塚越部長からプレゼンテーションを受けた。

「現行システムは2015年の3月に導入され2015年6月から本格稼働を行っています。 六種類のベンチマークを実施しましたが、 ES2と比較すると、ソースに手を入れないASISで2倍強の性能向上があり、チューニングをほどこした後2.8倍の性能がでています。」

現行システムの処理能力は、実際の運用データdも、ES2と比較して、年間処理ジョブ件数で4.3倍、ジョブの平均計算性能は2.8倍、ジョブの平均メモリ容量3.2倍、年間総演算数で11.1倍となったそうだ。

「現行ステムのスループットはES2の10倍以上あり、順調に切り替えが行え、性能的にも目標をクリアしており満足しています。信頼性も高く初年度の可用率99.97%を達成しており、月間使用率も常時80％から90％を超えており、年度末の数ヶ月は97％を越えていました。」

利用状況

「地球シミュレータの昨年度の利用形態は、所内課題が30％、国などのプロジェクト関連の指定課題が30％、公募課題が20％を占めています。」と塚越部長の説明は続く。

「昨年度から特別推進課題という15％の特別枠を設定しました。昨年は、年3回公募して選定を行いました。」特別推進課題には、かなり大きな計算資源を割り当てて、4ヶ月という短期間で、結果を出そうということで積極的に取り組みを進めてきたそうだ。

「集中的な資源投資ということで、計算機資源やサポート資源の割り振りのみならず、積極的な運用支援、例えば事前に必要なファイル容量を確保しておくとか、特別キューを設置して優先的に処理するような事を行いました。プロジェクト体制をとり、利用者を含めた進捗会議や対策会議の実施を通じて、成果創出に向けて運用部門としても積極的に参加し、貢献できたと思います。」

昨年度に実施した特別推進課題の研究テーマをリストアップしてみると、次の様になる。

• 4次元変分法データ同化システムを用いた高分解能海洋再解析
• 地球温暖化施策決定に資する気候再現・予測実験データベース
• 即時津波浸水予測に向けた高分解能・量的津波シミュレーション
• 非静力学大気波浪海洋結合モデルを用いた台風-海洋相互作用の研究
• ESの全ノードを用いた全球地震波形計算による地球内部構造の解明
• 複数の次世代非静力学全球モデルを用いた高解像度台風予測実験
• 内核を取り込んだ新しい地球ダイナモシミュレーション
• 海洋鉛直混合観測データを用いた全球海洋環境再現実験

海洋地球科学分野の様々な研究が対象となっている。これらの特別推進課題の成果は、関連シンポジウムや学会で発表されるのみならず、地球温暖化関連の成果はNHKのニュースでも「地球温暖化で予測 極端な異常現象の頻度高まる」として放映されたそうだ。

最後にいかにもJAMSTECらしいお話しを塚越部長から伺った。海大陸研究強化年としてYMC（Years of the Maritime Continent 2017-2019）と呼ばれる国際キャンペーンが計画されている。インドネシアを中心とする東部インド洋から西部太平洋にかけての海と陸（島）が混在する「海大陸」域の気象・気候現象に対する理解を深めるため、 観測と数値モデルを駆使して現業機関や研究機関が行う共同調査・研究で、JAMSTECもその主要な一翼を担っている。そんなYMCのプリイベントに地球シミュレータが協力したという話題だ。「プリYMCイベントとして、海洋地球研究船『みらい』が東インド洋スマトラ島沿岸で定点観測を行いました。その『みらい』から送られてくる観測データを基に、準リアルタイムに雲解析モデルのシミュレーションを地球シミュレータで行い、その結果を『みらい』に配信するという試みです。2ヶ月近く毎日配信するという運用実験を成功させました。」

観測とシミュレーションが準リアルタイムに統合されて、ヴァーチャル・リアリティがリアリティを越えていくような近未来のHPCの世界を予見するような話題だ。
HPCIの世界では第二階層の海洋地球部門での中核センターである地球シミュレータ訪問記は、後編のアプリケーションのトピックスへと続く。

システム諸元

(2016年4月現在)