世界のスーパーコンピュータとそれを動かす人々


6月 17, 2019

HPCの歩み50年(第202回)-2011年(n)

小柳 義夫 (高度情報科学技術研究機構)

2011年10月27日~29日に中国山東省済南(Jinan)の国際会議場で開かれたHPC China 2011に参加した。講演を頼まれたこともあるが、中国自製のCPUを用いたスーパーコンピュータができたということで、見てみようという気になった。

HPC China 2011

この会議は2011全国高性能計算学術年会(National Annual Conference on High Performance Computing)と呼ばれ、中国の学会である。主催は中国計算机学会(CCF)、共催が中国軟件行業協会数学軟件部会、協賛が中国計算机学会高性能計算専業委員会、山東省科学院、山東信息通信技術研究院、山東省計算中心とある。外国人以外の講演は中国語であったが、スライドの漢字からある程度内容は推測できた。参加者は約700人、若手が多く、熱気がむんむんしていた。GNPも日本を抜いて世界第2位、HPCでも昨年はTop500のトップを取り、その勢いは侮りがたい。

 
   

1) 済南について
済南(Jinan)は山東省の省都であり、済水という川の南にあったことから、前漢時代に済南郡が置かれた。その後、黄河の流れが変わって済水は黄河の一部となった。黄河文明の中心の一つであったと言われる。 市内には「ぼく突泉」(「ぼく」は、「約」の糸偏を足偏に変えた字)をはじめ多くの泉があり、泉城と呼ばれる。会場および宿舎の山東大厦(Shandon Hotel)の前にある広大な公園は泉城公園と呼ばれている。 ぼく突泉は、ホテルから歩いて30-40分の所にあり、広大な公園となっている(写真)。入場料40元を取られたが、広大で多くの泉や池がありとても回りきれない。北宋時代の女流詩人李清照の記念館もある。行かなかったが大明湖を囲む公園(旧城内)はもっと大きい。 市内を走る車のナンバーは「魯」から始まり、ここが魯の国(春秋時代以来)であることを示している。孔子の故郷の曲阜は、ここから車で3時間ほど、道教の聖地である泰山(世界遺産)もすぐ近くである。

北京から高速鉄道で行くのが簡単だが、例の脱線事故の後だったので、飛行機で行くことにした。 関空から直行便があるが週2便しかなく、今回は、行きは大連経由、帰りは広州経由という大回りとなった。

2) 自分の講演
筆者は、”HPC and Computational Sciences in Japan — toward Exaflops” という30分の講演を行った。日本のスーパーコンピュータの歴史を総括して、「京」までの歩みをたどった。日本の世界的スーパーコンピュータが、アプリケーション分野のイニシアチブで作られたことを強調した。会場では質問の時間はなかったが、講演後に何人かの若手が食い入るように質問してきた。すごい熱気である。やはり、「京」の話に関心があるらしい。「京のチューニングの勘所は?」「私は直接触っているわけではないが、話によると、定石通り、メモリ・アクセスの局所性、キャッシュの活用、SIMDの活用、通信の隠蔽・最適化などが効くそうである。」「SIMDはインライン・アセンブラで書くのか?」「コンパイラがやってくれる。ただ、SIMDを活用するにはコードの書き方に注意が要る。」「SIMDはFPUと独立か?」(まさかこんな質問をするとは予期しなかった)「よく知らないが、一部回路を共有しているようである。」「私が京を使うチャンスはあるか?」「京は日本のために建設したが、資源の一部は国際共同研究にも使われると聞いている。」(この答は不正確で、「制限はあるが世界中から応募できる」が正しい。)

3) 『中国HPC的自主之路』
27日午前に中国科学院の陳左寧(Zuoning Chen)教授(女性)の表記の講演はなかなかおもしろかった。スライドの中国語がどうにか理解できた。中国のHPCの歴史を世界(とくにアメリカ)と比較していた。どんどん追いついていると言いたいらしい。

中国のHPC

対応する米国のHPC

中国の遅れ

1983

銀河I

1977

Cray I

7年

1996

神威I

1993

CM-5 (1024)

3年

2000

銀河IV

1997

ASCI Red

3年

2009

天河I

2008

Roadrunner

1年

soon

 

10 PFlops

 

 

 

2018?

1 ExaFlops

 

 

 

 

中国のHPCは3つの時期に分けられる。

(1) 第1期(1990以前)
 「刑天舞干戚」の時代(「刑天(中国神話に登場する異形の巨人)という獣はたて(干)と斧(戚)を振り回し」。陶淵明の読山海経(せんがいきょう)か?)。
 1983年12月に国防科学技術大学で銀河Iというベクトル計算機が完成した。国外では、Cray Iや富士通のVP200など。銀河Iは100 MFlops以上を達成し、ソフトはCray Iとコンパチであった(ということか?)。
(2) 第2期(1990から2005)
 「臥薪嘗胆」の時代。1996年に神威Iを完成。Alpha21164を利用し312 GFlopsであった。当時、日立はSR2201/1024、IntelはXP/S140。
 1998年に曙光2000-Iが完成。PowerPCとMyrinetを用い、20 GFlops, 8 GBであった。銀河IVもこのころ。 外国との遅れは5年程度であった。
(3) 第3期(2006年~)
 「宏図展神州」(出典不明)の時代。国防科学技術大学の天河1Aが2.57 PFlopsでTop500の1位を取った。これはアクセラレータを用いており、RoadrunnerやTSUBAME2.0に相当する。 また自主チップを用いた神威藍光が2011年9月から動いている(これについては後述)。遅れは2~3年で、基本的には追いついた。

中国の展望はどうか。国産チップは2015には20 nmまで行く。システムソフトウェア(系統軟件)研究も進んでいる。例えば、「熱点自感知計算」(hot spotを自動的に感知して対応するのか?)など。 応用研究と工程化水平(何か?)、応用算法と数学模型としていろいろな分野を列挙した。

創新能力および戦略規画。要するに将来計画のことらしい。アメリカのいろんな計画、欧州のPRACE、Intelの計画などを上げた。国際百億億次計画では3次元実装や、光接続が重要になる、など。どうも中国では億を超える数詞は使わないようで、Petaは千万億、Exaは百億億という。[億の簡体字は人偏に乙]自分の講演のときに、「なんなら『京』とか『垓』とか輸出してあげてもいいよ」とジョークのつもりで言ったら、聴衆が嫌な顔をしていた。

4) 神威藍光見学
済南スーパーコンピュータセンター(国家超級計算済南中心)で、中国独自開発のCPUチップ申威1600 (Shenwei 1600)を使ったスーパーコンピュータ神威藍光(Sunway Blue Light)が完成した。27日(木)の午前に政府要人を招いて披露式典をやったようであるが、その午後、センターのご厚意でD. Kahanerらと見学させていただいた。写真は神威藍光の前でDavid Kahaner, Debbie Chen両氏と。

 

済南計算中心は、街の東の外れにある。経十路を東に車で走っていくと、移転した山東省博物館があり、また行くと「ほおずきの実」のような形をしたオリンピックセンターがある。これは、2008年北京オリンピックの時、サッカーの一部はここでやったとのことである(確認できなかった)。、この会議の直前、なでしこジャパンが優勝した女子サッカーはここで行われた。計算中心は、さらに東に行ったところである。いろんな研究所や企業の入った雑居ビルの1階にある。神威藍光は、ガラス張りの部屋に入っていて、外から見学した。神威藍光の他に隣の部屋にはInspur(浪潮)社製のx86ベースのMPPが何台か入っていた。技術的な話は「中国の動き」のところに記す。

SC2011

1) はじめに

 
   

SC11: The International Conference for High Performance Computing, Networking, Storage and Analysis (通称 Supercomputing 2011) は、24回目の今年、ワシントン州Seattle市のWashington State Convention Centerにおいて11月12日(土)から18日(金)まで”Connecting Communities through HPC”のテーマの下に開かれた。会議名は時々変わるが、2007年以来同じで、”Analysis” を加えている。このシリーズの国際会議で、シアトルは二度目の開催である。前回は2005年であった。全参加者数は約11500人、technical program参加者数は5000弱とのことである。写真は参加者に配布されたプログラム。今と違ってだいぶ厚い。

この季節の常で、会期中天気が悪く、気温も東京より寒かった。後半では最低気温が摂氏零下になったようである。ただ、事前の予報より雨は少なく、傘が必要な時間は割に短かった。例によって,折りたたみ傘(IBM提供)が配られていた。

今年のSC11は、日本人にとっては「京コンピュータ」を中心とする日本勢の活躍が誇らしい会議であった(後述)。私としては中国の台頭も強く印象に残った。中国は今回自前のチップで作ったペタフロップス機の情報を展示し、Top500でも14位を占めた。

2) 日本の寄与
日本の研究者もこの会議の運営に大きく貢献している。SCxyの全般を企画するSteering Committeeには2009年から松岡聡(東工大)が加わっている。松岡はCommunity Chairも務めている。

プログラム委員会関係では、Technical Program Chairの下にいくつかの組織がある。

(1) System Software分野には、松岡聡(東工大)と田浦健次朗(東大)が委員として加わっている。
(2) Applications分野には、青木尊之(東工大)と中島研吾(東大)が委員として加わっている。
(3) Architechture/Networks分野には、中島浩(京都大)が共同Chairとして、井上弘士(九州大)、石川裕(東大)、中村宏(東大)が委員として加わっている。
(4) Clouds/Grids分野では、関口智嗣(産総研)と田中良夫(産総研)が委員として加わっている。
(5) Performance分野では、朴泰祐(筑波大)が共同Chairとして、成瀬彰(富士通研)、須田礼仁(東大)、高橋大介(筑波大)が委員として加わっている。
 受賞関係では、GM HPC Fellowship委員として松岡聡が加わっている。
 Tutorial委員会には、平木敬(東大)、石川裕(東大)、末安直樹(富士通)が委員として加わっている。

3) Social Events
恒例により、19日(木)の夜は、市内中心部の高さ184mのタワーSpace Needleでevening eventがあった。 “Kobe Beef”という焼肉コーナーがあったので、”Is this real Kobe beef?”と確かめたら、”Yes, real Kobe beef.”という答えが返ってきた。全然対話が成立していない。日本では「神戸ビーフ」には厳しい基準があるが、アメリカでは”Kobe-style” beef程度の意味しかないらしい。

このほかこれも恒例だが、いくつかの企業が、お客様を招待するパーティーが火曜日と水曜日に多数あった。

4) 展示
展示は4階が104,320 ft2で、6階が26,976 ft2であった(ブース面積の合計)。会場の面積の合計は265,30ft2とのことである。昨年のニューオーリンズの時と比べると狭い感じがする。企業展示207件、研究展示132件、全体で349件である(合計は合わないが)。

例年のごとくTechnical programとは独立にExhibitor Forumが3並列で火水木にあり、展示出展企業が30分ずつ講演した。東大生研の革新的シミュレーション研究センターは企業枠として展示を出したので、加藤千幸氏が講演した。このほか、各展示ブースでは企業展示でも研究展示でも、プレゼンテーションがひっきりなしに行われており、とてもつきあいきれない。

5) 企業展示
マイナビニュースにHisa Ando氏による詳しい報告「SC11 – 論文発表やワークショップと並び重要な各社の展示」がある。 筆者の目に留まったものを記す。

(1) Cray社
 16 coreのOpteronをGeminiインターコネクトでつないだXE6、およびさらにNVIDIAのGPUを搭載したXK6を中心に展示していた。IBMが8月6日に撤退を発表したイリノイ大学NCSAのBlue WatersをCrayが受注したことが、アメリカ時間の11月14日に発表された。XE6を235キャビネット以上とXK6が30キャビネット以上ということである。まあ、実効1PFlopsのマシンを納入できるベンダは限られるので、多分Crayだと思っていたが、11月はじめに噂が聞こえてきていた。また、正式発表は12月1日であったが、京都大学の学術情報メディアセンターが、旧大型計算機センターとしては初めてクレイ(XE6、940ノード、300 TFlops)を導入するという噂も流れ、盛り上がっていた。
(2) IBM社
 ボードは去年も展示されていたが、Blue Gene/Qの筐体が初めて公開された。以前のBlue Gene/LやBlue Gene/Pは空冷であったので、あの有名な斜めの前面パネルが用いられたが、水冷のBlue Gene/Qではその必要がない。しかしトレードマークである斜めの前面を模して、筐体に斜めの模様が作られていて笑ってしまった。Gala Openingの前にはシートが掛けられていた。来年はSequoiaとしてLLNLに納入される。
 Power7チップを用いたPOWER775も展示されていた。
 BlueGene/QについてはHisa Ando の報告「SC11 – 20PFlopsを目指すIBMのBlue Gene/Q」がある。
(3) 富士通
 富士通は、京の筐体を誇り高く展示するとともに、その商用版PRIMEHPC FX10(16 coreチップSPARC64 IX fxを使用)の筐体も展示されていた。日本時間の11月14日に、東京大学情報基盤センターから80ラック(ピーク1.13 PF)の構成で受注したことが発表された。2012年4月から稼働予定。
 PRIMEHPC FX10については、下記のHisa Andoの報告「SC11 – 京の技術を向上させた富士通の新スパコン『PRIMEHPC FX10』」がある。
(4) 日本電気
 11月17日に発表したSX-9の後継ベクトル機のチップと言われるものを展示していた。なお、SX-10の名前は使えないらしく、コード名はローマ数字のSX-Xにしたようである。SCでは初めての発表となる。余談であるが、私の記憶が正しければNECは1990年頃、SX-3のコード名か海外用の名称としてSX-Xを使っていたような気がする。商品名はSX-ACEとなった。
(5) 日立
 Power7を用いたSR16000の実機とSR16000 M1のプロセッサボードを展示していた。SR16000はIBMのPower775のOEMであるが、ボードは日立製と言われている。京都大学基礎物理学研究所、北海道大学情報基盤センター、高エネルギー加速器研究機構などに導入されている。このほか、HA8000tc/HT225というAMDのBulldozerプロセッサを使ったクラスタも展示されていた。Hitachi Data SystemsからVSPの展示とストレージのデモをやっていたようである。
(6) NVIDIA
 今年も大変元気がよかった。今年はNVIDIAの創立者CEOの Jen-Hsun Huang氏が基調講演を行った。昨年は、NVIDIAのBill Dallyが総合講演を行った。今年8月には、CrayのCTOとしてT3EやX1などを19年間引っ張ってきたSteve ScottがNVIDAに移ったというニュースもあった。また、今年初めて、日本人参加者を対象とするカクテルバーティがあった。
 例年通りブースではGPU Technology Theaterとして朝から晩までプレゼンテーションが行われていた。

6) 研究展示
全体で132件であったが、そのうち日本からの研究展示は以下の32件(企業枠での出展を含む)であった。今年初めて出展したのは5件。昨年から撤退したところはなかった。

・ National Institute of Advanced Industrial Science and Technology (AIST)
・ Center for Computational Sciences, University of Tsukuba
・ Center for Research on Innovative Simulation Software, The University of Tokyo(初参加、企業枠)東京大学生産技術研究所革新的シミュレーション研究センター
・ CMC (Cybermedia Center), Osaka University
・ Doshisha University
・ GRAPE Projects
・ Hokkaido University 新しいスーパーコンピュータSR16000(TOP500で95位)とクラウドシステムに関する展示を行った。
・ Information Technology Based Laboratory (ITBL)
・ Japan Agency for Marine-Earth Science and Technology (JAMSTEC)
・ Japan Advanced Institute of Science and Technology (JAIST)
・ Japan Atomic Energy Agency (JAEA)
・ Japan Aerospace Exploration Agency (JAXA)
・ Kansai University
・ Kyoto University
・ Kyushu University
・ Nagasaki University(初参加)
・ Nara Institute of Science and Technology (NAIST)
・ National Institute of Informatics (NII)(「e-サイエンス実現のためのシステム統合・連携ソフトウェアの研究開発」プロジェクトの「研究コミュニティ形成のための資源連携技術に関する研究」の成果も展示)
・ National Institute of Information and Communications Technology (NICT) 大阪・ロンドン・シアトルの3拠点間を結ぶ仮想ネットワークを活用したハイビジョン映像コンテンツを制作する公開実験を実施。
・ Okinawa Institute of Science and Technology (OIST)(初参加)
・ PC Cluster Consortium(企業枠)
・ Research Organization for Information Science & Technology (RIST)
・ The Institute of Statistical Mathematics(昨年はResearch Organization of Information and Systems の名前で出展)
・ RIKEN AICS (Advanced Institute for Computational Scinece)(AICSとしては初) 京の筐体を展示し、Top500の1位の賞状などを展示していた。
・ RIKEN, Advanced Center for Computing and Communication
・ Saitama Institute of Technology
・ Saitama University
・ T2K Open Supercomputer Alliance(「e-サイエンス実現のためのシステム統合・連携ソフトウェアの研究開発」プロジェクトの「シームレス高生産・高性能プログラミング環境」の成果も展示)
・ The University of Tokyo 平木研究室
・ Tohoku University
・ Tokyo Institute of Technology あえて6階を選び、広いブースで展示をしていた。
・ University of Aizu(初参加)

中国からの展示参加は、企業を含め5件であった。CAS (Chinese Academy of Sciences)はブースを出さなかったが、Techinical Committee of HPC, China Computer Federation というブースがあり、ICT (The Institute of Computing Technology of Chinese Academy of Sciences) が天河1Aや神威藍光のパネルを展示していた。このほかは、

・ChinaGrid
・Shenzhen Gigalight Technology Co. Ltd.
・Inspur (Beijing) Electronic Infomration Industry Co. Ltd.(中国名は「浪潮」)
 天河1Aや神威藍光なども製作を担当したのはこの会社らしい。
・HSS L State Key Laboratory of High End Server And Storage Technology(高効能服務器和存儲技術国家重点実験室)www.hss.ac どういうわけか.acという「アセンション島」のトップドメインを持っている。

インドからも2件、いずれも企業である。

・Computational Research Laboratories Limited これはTATA Sons Limitedの子会社。
・HPC Links

台湾から2件、企業1件、研究1件

・National Center for High-Performance Computing 國家高速網路與計算中心。中国語名にはnetworkが入ったようです。
・Etasis Electronics Corporation 電源のメーカらしい

韓国から2件

・KISTI (Korea Insitute of Science and Technology Information)
・NIMS (Division of Computational Sciences in Mathematics, National Institute for Mathematical Sciences) 物質材料研究機構ではない。

シンガポールから1件

・A*CRC (A*STAR Computational Resource Centre)

7) Technical Papers
SCというとどうしても展示やイベントなど華やかなものに注目があつまるが、レベルの高い査読による原著論文(technical papers)は言うまでもなく重要な部分である。

論文投稿総数は353、そこから74編が選ばれた。採択率は21%である。日本が関連した発表としては、Gordon Bellとの同時投稿を含め、次の4件である。うち3件が東工大関連であることは注目される。

Naoya Maruyama – Titech, Tatsuo Nomura – Google, Inc., Kento Sato – Titech, Satoshi Matsuoka – Titech, “Physis: An Implicitly Parallel Programming Model for Stencil Computations on Large-Scale GPU-Accelerated Supercomputers”

Takashi Shimokawabe – Tokyo Institute of Technology, Takayuki Aoki – Tokyo Institute of Technology, Tomohiro Takaki – Kyoto Institute of Technology, Akinori Yamanaka – Tokyo Institute of Technology, Akira Nukada – Tokyo Institute of Technology, Toshio Endo – Tokyo Institute of Technology, Naoya Maruyama – Tokyo Institute of Technology, Satoshi Matsuoka – Tokyo Institute of Technology, “Peta-scale Phase-Field Simulation for Dendritic Solidification on the TSUBAME 2.0 Supercomputer”(Gordon Bellとの同時採択)

Leonardo Arturo Bautista Gomez – Titech, Dimitri Komatitsch – U of Toulouse, Naoya Maruyama – Titech, Seiji Tsuboi-JAMSTEC, Franck Cappello – INRIA, Satoshi Matsuoka – Titech, Takeshi Nakamura – JAMSTEC, “FTI: high performance Fault Tolerance Interface for hybrid systems”

Susumu Yamada – JAEA, Toshiyuki Imamura – U of Electro-communications, Masahiko Machida – JAEA, “Parallelization Design for Multi-core Platforms in Density Matrix Renormalization Group toward 2-D Quantum Strongly-correlated Systems”

 

基調講演や各種の賞、Top500などについては次回。

(アイキャッチ画像:SC11ロゴ   出典:SC11)

left-arrow   50history-bottom   right-arrow