世界のスーパーコンピュータとそれを動かす人々


スパコン探訪記シリーズ

10月 5, 2016

理化学研究所情報基盤センター

杉原正一

RSCC-962x321xcf

理化学研究所は物理学、工学、化学、計算科学、生物学、医科学など幅広い範囲の研究を進めている日本で唯一の自然科学の総合研究所である。3000人超の研究者を擁し、客員研究者を入れると6000人以上になると言われている。

1917年(大正6年)に、財団法人として創設以来、株式会社科学研究所、特殊法人、独立行政法人を経て、昨年4月には、研究開発の特殊性として『長期性、不確実性、予見不可能性、専門性など』を考慮された国立研究開発法人化された。来年には創設100周年を迎える節目の年となる。

拠点としては、前回訪問した放射光科学総合研究センターの播磨、『京コンピュータ』を旗艦とする計算科学研究機構およびライフサイエンス系研究センターのある神戸など国内に9地区あり、中核拠点がここ和光(埼玉県)となる。

町の名前としては「和光市」というのは少し風変わりなので、例によって調べてみると、1943年(昭和18年)の町制施行時に町名に関してもめた為、「大いなる和」で一つになると言う意味から「大和町(やまとまち)」と名付けられた。1967年(昭和42年)に理化学研究所が東京都駒込から移転。1970年(昭和45年)の市制施行時には、すでに神奈川県に大和市が存在したため区別する為に新市名を一般公募し、「和光市」と名付けられた。大和町の「和」と栄光の「光」を組み合わせ、平和・栄光・前進を象徴し明るく住みよい街に躍進するように、という願いが込められているらしい。

広い敷地の中、食堂がはいっているというモダンな建物の隣が情報基盤センターだ。情報基盤センター・和光ユニット 黒川ユニットリーダーにお話しを伺った。

情報基盤センター

情報基盤センターは理研内のIT基盤の企画・整備・運用・サポートを担っている。IT基盤としては、スーパーコンピュータ、ネットワーク、サーバーだけでなく、図書・ジャーナルまでも対象としている。その起源は、理研に在職していた朝永振一郎博士がくりこみ理論の計算を行うために計算機が必要という事にあったそうだ。汎用機、VPPの時代を経て、RSCC(Riken Super Combined Cluster)、RICC(RIKEN Integrated Cluster of Clusters)のPCクラスター中心の時代となり、昨年からはMPPの世代に入った。

HOKUSAI

「2015年4月に導入したのは富士通製PRIMEHPC FX−100 1ペタフロップスシステムを中核としたシステムでHOKUSAI GreatWaveと命名した。HOKUSAIは名前を色々考えているときに偶然上野の北斎展に出向いた。浮世絵が日本から世界へ発信して、表現技法などの創造性は世界にもインパクトを与えた北斎に遭遇し、それにあやかることにした。

RIKEN-RSCC-1
HOKUSAIと情報基盤センター・和光ユニット 黒川ユニットリーダー

HOKUSAIの利用者は300人から400人ぐらい。研究課題ごとに利用申請をしてもらい計算資源を割り当てる。最大では20%を割り当てる。10%を越えて割り当てる場合は特別の審査がある。約140研究課題におよそ150%の計算資源を割り当てている。ジョブの充填率はコア単位のアサインなので使用率は90%前後になる。大規模な利用者は物理屋さんでQCDの計算を行っている。

理研が行う研究のための計算機であり、共同研究を除き外部へは提供していない。商用コードはGAUSSIAN、ANSYS、AMBER、MATLABなどを導入している。
並列化していないジョブが遅くなったというクレームがあった。XeonからSPARCへの移行による動作周波数の低下でやむを得ない面もある。富士通のファイルシステムであるFEFSを導入して、クラスタ時代に10年間行ってきた利用者ファイルのステージングをやめた。ユーザビリティがあがって評判がいい。

移行で一番大変だったのは、準備段階の施設整備で、パッケージ・エアコンの空冷から冷水へ設備を移行させることだった。その工事に半年かかると言われたが、計算機室に仕切りを設けて、冷却領域をドメイン分けして、システムの全面停止をすること無く、工事を順次行って切り抜けた。鉄筋コンクリートの建物の壁に穴を開けるのは大変だ。床下も深くないので、冷水の配管の自由度がなく苦労した。

現状の課題は、計算需要があるのに対応できていない事だ。来年設置が決まっているHOKUSAI BigWaterfallが導入されれば、ペタフロップス級のクラスタがアドオンされるので、トータル数ペタフロップスのシステムになる。ある程度需要に応じられるだろう。」

成果

情報基盤センターのスパコンを利用して達成された成果をいくつかリストアップしてみると、

  • 進化と発生の関係性をめぐる150年来の謎を、遺伝子発現情報をスパコンで解析し解明。
  • スパコンと世界最高性能の計算手法を組み合わせ、生物物理の基礎問題である細胞内分子間の情報伝達効率の上限理論を検証。
  • 電子とミュー粒子の磁気能率を量子電気力学(QED)により理論的に計算し、基礎物理定数の1つ微細構造定数αを40億分の1の最高精度で決定。
  • 分子と陽イオンの相互作用を用いて真空蒸着と加熱だけの簡便な手法で均一膜を形成するメカニズムを解明。
  • 触媒反応の微視的メカニズムを解明。
  • フッ化フラーレンによるn型有機半導体の単分子膜形成のメカニズムを解明。

と、理研らしく幅広い領域での利用が見えてくる。どんな事にスパコンが使われているのか少し垣間見ることにしよう。

進化と発生の関係性をめぐる150年来の謎を、遺伝子発現情報をスパコンで解析し解明

「進化発生学では進化と個体発生(受精から成体への過程)の関係性が大きな課題になっている。1」初期胚こそが最も保存された形態パターンを示し、その後発生が進むにつれて種間での多様性が認められるとする「漏斗型モデル」と、2」器官形成期は拘束されており進化的に保存された胚段階が中間段階に生じるという「砂時計モデル」と呼ばれる二つの仮説がある。

複数の脊椎動物の複数段階(12〜15段階)の胚を対象に、マイクロアレイにより遺伝子発現プロファイルを同定し、遺伝子発現データの比較解析をスパコンで行った。その結果、咽頭胚期が最も保存された遺伝子プロファイルを持ち、初期胚や後期胚はやや多様化している事を見いだした。咽頭胚期の遺伝子プロファイルが脊椎動物基本のボディプランを生み出している可能性を示唆するものである。」

出典:http://www.riken.jp/pr/press/2011/20110330/

Shoubu

情報基盤センターではMDGRAPE-3などの専用マシンの運用を行ってきていたが、2015年からはPEZY Computing社のチップ使ったZettaScalerシステムをメーカーとの共同研究目的で設置している。

2015年6月のGREEN500ではExaScalerシステムの名前で、トップ3を独占した知る人ぞ知るユニークなシステムだ。今年の6月のGREEN500でも下表の様に理研に設置された2台が一位、二位を占めた。TOP500でも各々94位、486位を獲得している。

RIKEN-RSCC-2

出典:https://www.top500.org/green500/lists/2016/06/

ZettaScaler-1.6システムとは、一言で言えば、「国産独自設計のメニーコアチップをアタッチドプロセッサーとした液浸冷却MPPシステム」である。

RIKEN-RSCC-3
RIKEN-RSCC-4
Shoubu ZettaScaler-1.6システム

現状システムは、PEZY-SCnpとZettaScaler-1.6の組み合わせである。PEZY-SCnpチップは、動作周波数588〜733MHz、1024コア/チップで、ピークで1.5TFLOPSの性能である。ZettaScaler-1.6としては1280個のPEZY-SCnpで1ペタFLOPS超を計測している。冷媒としてはフロリナートが使用されている。

次期システムも計画されている。PEZY-SC2は、動作周波数1GHz 4096コア/チップで8.2TFLOPSを実現する計画である。PEZY-SC2を使ったZettaScaller2.0では、256ノード/液浸槽で1.5PetaFLOPS、15〜20GFLOPS/Wを目標としている。

Shoubu(ZettaScaler-1.6)についても、利用に当たって課題募集を行っているが、申請数は10件を超えたそうだ。ZettaScalerの今後の行方を考えるに当たっては、やはりシステムトータルの品質と開発支援環境が鍵となるのではないだろうか。

久々にベンチャー魂に満ちあふれた製品に接して、高揚した気分で情報基盤センターを後にした。

 

left-arrow Supercom Tanbo right-arrow