世界のスーパーコンピュータとそれを動かす人々


3月 26, 2018

HPCの歩み50年(第156回)-2008年(i)-

小柳 義夫 (高度情報科学技術研究機構)

今回はSC開始20周年ということで、歴史展示のコーナーが設けられた他、全21回参加した24人に皆勤賞としてメダルが授与され、皆自慢そうにぶら下げていた。企業展示で目立ったのはGPGPU関係のハード・ソフトであった。日本からは3件の論文が採択された。

SC08

SC08: The International Conference for High Performance Computing, Networking, Storage and Analysis (通称 Supercomputing 2008) は、20年目の今年、テキサス州AustinのAustin Convention Centerにおいて11月15日(土)から21日(金)まで”20 years — Unleashing the Power of HPC”の標語の下に開かれた。会議名は時々変わるが、昨年、一昨年と同じで、”Analysis” を名乗っている。SCで、Austinは初めての開催である。

1) はじめに
詳細は筆者の未完のSC08報告を見てください。また、東京大学情報基盤センターの松葉浩也、片桐孝洋、中島研吾による報告SC08参加報告も見てください。次世代スーパーコンピューティング・シンポジウムからのSC08レポーターの報告も面白い。

この会議は元々アメリカの国立研究所の関係者を中心にボランティア的に発足したところに特徴がある。当初はアメリカの国内会議の印象が強かったが、10回のころから次第に国際的な会議に成長してきた。今年は、日本人として初めて、松岡聡氏(東工大)がSC08 Steering Committee(18人)のメンバとして加わった。これは、毎年開催されるSCの全体を統括する委員会である。聞くところでは選出されるメンバは8人あり、任期4年で毎年2名が交代するとのことである。

プログラム委員会関係では、松岡氏がGrid Areaの座長である他、Application Areaには中島研吾氏(東大)、Grid Areaには合田憲人氏(NII)、伊達進氏(大阪大学)と田中良夫氏(産総研)、Software Areaには佐藤三久氏(筑波大)が加わっている。

今回の参加者は11000人強、technical登録者は4100人強、展示は337件、論文投稿は約277件、採択59件(21%)であった。松岡氏の話によると、日本からの参加者は475人で、アメリカに次いで2位とのことである。

2) 今回のハイライト
今年のSCの全体的な印象として、顕著な目玉はなかった感じである。多少目立ったテーマとしては、

(a) アクセラレータ
(b) エクサフロップス

であろう。前者は、昨年から話題になっている。Mooreの法則によってトランジスタ数が増えたが、演算器に必要なトランジスタ数は限られているので、チップ上に複数の演算器を置くことができる。一つは、dual-core, quad-core, octa coreのように同一のプロセッサを複数搭載することである。もう一つは、演算機能(+α)を持つ単純なコアを、プロセッサに複数付加するか、そういう専用チップを作るかが考えられる。これがアクセラレータと言われているものである。当時many coreとも呼ばれていた。NVIDIAのGPGPU、ClearSpeedをはじめ、IntelやAMDも強力なアクセラレータを開発している。Cell プロセッサは中間的である。アプリケーションからは、利用するプログラミング環境が問題であるし、アルゴリズム研究者としては、アクセラレータに適したアルゴリズムを考える必要がある。

「エクサフロップスExaflops」とは、1018 Flopsで、1秒間に百京(ヒャクケイ)回の浮動小数の演算ができる能力のことである。今回のTop500に、Petaflops を越えるマシンが2 台も出現したので、人々はExa-machine を2019±2年と予想しはじめた。アーキテクチャ的な困難、どんなアプリがこの能力を必要とするのか、計算機のシステムイメージなど様々に議論されている。

かたや、中国・インドの進出が話題になっている。Top500では、日本の最高位が28位のT2K東大であったのに対し、中国は最高11位を占め、インドも14位を占めている。日本は、次世代を建設中とはいえ、どうなってしまうのであろうか。(Top500の順位は現在公表されているリストによる)

その他の話題としては、10 Gbpsのネットワークが急速に普及しつつあり、100 Gpbsへの展望も語られ始めている。並列計算機の相互接続網としては、レイテンシがどこまで下げられるかが興味のあるところである。あと、銅線でどの距離までつなげるかも問題である。

最近グリッドが「当然技術」となって、あまり声高には語られないが、最近は「クラウド」への言及が多い。クラウドは、グリッドの資源提供者側を隠蔽してサービスを提供する技術であるが、ある種のメーカの言は、昔のメインフレームを思わせるところがある。

今年の目玉は、Music Initiativeである。私は知らなかったが、オースチンが音楽の都であることから企画されたそうである。ViSCi-Tuneは、visualizationとともにsonification(音響化、可聴化?)を行おうという企画である。私自身は残念ながらMusic Initiative Boothは訪れなかった。

3) 20周年

 
   

今年は20周年(第21回)ということで、歴史を回顧するいくつかの催しが行われた。歴史展示は、一般の展示とは別に、東側の通路の北の端に置かれていた。遠かったので見落とした人も多いようである。各回を示す透明なパネルが置かれ、主要な講演者、その時の主要な計算機などが書かれていた。[写真は理研のSC08レポーターの報告から]NWTは言及されていたが、地球シミュレータの「ち」の字もなかった。その下の展示棚には、いろいろなグッズ(ボード、Tシャツ、マグカップなど)が展示されていた。Cray-1の筐体も展示されていた。老人にはおなじみだが、若い人には珍しかったかと思う。

私は、第1回、第4回、第12回、第19回は出席できなかった。今回は20周年ということで、全21回参加した24人に皆勤賞としてメダルが授与された。皆さん、会期中自慢げに首からぶら提げていた。24人のなかには、Horst Simon, Jack Dongarra, Al Brenner, David Bailey, Olin Johnsonなどがいた。自己申告なので、申告しなかった人もいるようである。日本からは三浦謙一氏(富士通→NII)ただ一人であった。私はもちろんメダルをつけていなかったが、メダルを下げた何人かから“Yoshio, how many conferences did you miss?”と聞かれた。

4) 展示
主催者発表によると、今年は企業展示220件、研究展示117件、全体で337件があった。これらが適当に混じって所狭しとブースを出している姿は壮観である。今年の展示会場は比較的正方形に近く、歩きやすかった。ただ、一部離れ小島的なエリア(番地>2800)があり、新規参加のブースを中心に構成されていた。いつかのAsian Villageや、階が違うことに比べれば、比較的にぎわっていた。

例年のごとくTechnical programとは独立にExhibitor Forumが火水木とあり、展示出展企業が30分ずつ講演した。このほか、各展示ブースでは企業展示でも研究展示でも、プレゼンテーションがひっきりなしに行われており、とてもつきあいきれない。私も頼まれて産総研のブースで”HPC Trands in Japan”というプレゼンを行ったが、辻説法みたいなもので、通り行く人を引き留めるのは大変である。

17日(月)7時からは展示会場のGala Openingであったが、昨年と同様、今年も開場前に展示関係者のために軽食と飲み物がサービスされた。これは大変好評であった。

5) 企業展示
今年は企業展示は220件であった。今年目立ったのはGPGPU関係のハード・ソフトの出品が多かった。NVIDIAはもちろん、PGIはx86+GPUシステムへの自動コンパイラを出していた。あと、10Gbpsのネットワーク製品やインターコネクト製品も多く出ていた。

常連の企業は日本系の企業を含めてそれぞれ元気に出展していた。

(a) IBM
SCxyの常連であり、大きなブースを会場のいい場所に出していた。Power6、GPFS (General Parallel File System)など様々のsolutionを提示していたが、目玉は、Top500を死守したRoadrunnerとBlueGene/Pであろう。
(b) Cray
ハイエンドとしては、Roadrunnerと首位攻防戦を演じたJaguar (XT5)であろう。ミッドレンジとしては、先日発表された、Windowns HPC serverを搭載したCX1が話題であった。
(c) SGI
いろいろなものを出していたが、Intelの組込用のプロセッサAtomを多数高密度実装したMoleculeを出していた。「原子」が集まって「分子」とはあまりにも分かがよい。
(d) 富士通
昨年発表したSparc64に基づくFX1が目玉であろう。来年にはJAXAに納入される。富士通が担当している日本の次世代スーパーコンピュータ(スカラー部)は、この更に次世代機と予想される。
(e) NEC
SX-9を展示していた。NECは日立とともに次世代スーパーコンピュータのベクトル部を担当するが、これはおそらくSX-9の次世代機であろう。
(f) 日立製作所
SR16000などを展示していた。
(g) Convey Computer Corporation
この社は、私がベースにしていた筑波大学のすぐそばにあったが、なんとHPに吸収されたConvexのxをyに変えたもので、昔のConvexと同じくSteve Wallachらが2006年に創立した。XeonとXilinxのFPGAを組み合わせたHC-1は、FPGAをベクトルもしくはSIMD的なコプロセッサとして低消費電力で高速演算を可能にするという。ユーザからはx86のISAの単なる拡張に見えるところが特徴とか。メモリバンド幅は80 GB/sでキャッシュコヒーレンシも保証される。特定のアプリのためのFPGA用のプログラムをpersonalityと呼んでいる。UCSDが最初発注したとのこと。SC08が事実上のお披露目であった。Steve Wallachは今年のSeymour Cray Computer Science and Engineering Awardを受賞し意気軒昂であった。
(h) ClearSpeed
今年5月頃John Gustafson氏がCTOを辞めたClearSpeedもちゃんとブースを出していた。500Wで1.152 TFlopsを出し、リスク分析市場に乗り出すそうである。科学技術より経済金融の方に方向転換した感じである。John Gustafson氏は、Massively Parallel社のCEOになったが、ブースは出さず会場を歩き回っていた。
(i) Quadrics
AISTの真向かいであったが、展示はキャンセルされて休憩場所になっていた。なんでも親会社の金回りがきつくなり、直前に中止を決定したとのこと。せっかくレーテンシの低いネットワークを出していたのに、今後の動向が気になる。
(j) ARGO Graphics
うちの若手から是非見てこい、と言われたブース。IBMビジネス・パートナーである。ソニー コンピューティングユニット『BCU-100』の日本国内向け取り扱いを開始したとのこと。ここには、Fixstars社もCell/B.E.関係の製品を展示していた。Yellow Dog Linuxを開発していた会社を買収した。
(k) NVIDIA
Tesla solutionはテラフロップスに近づくとか。
(l) Portland Group Inc.
NVIDIAのCUDA用のコンパイラを開発中。ソースから、x86用のコードと、CUDA用のコードを生成し、これが連携して動(とのこと。

6) 研究展示
全体で117件であったが、そのうち日本からの研究展示は以下の27件であった。最後の数字はブース番号。去年出典していなかったところはNewと記す。*印は、Industry Exhibitorとして登録。

(a) AIST 303
(b) Center for Computational Sciences, University of Tsukuba 1551
(c) Center for Grid Research and Development (NAREGI)
(d) Doshisha University 2308
(e) Ehime University 2906
(f) GRAPE Projects 2015
(g)*Information Initiative Center, Hokkaido University 2802 (New)
(h) IST/CMC – Osaka University 2023
(i) ITBL 2127
(j) ITC, The University of Tokyo 2719 T2Kプロジェクトを展示。
(k)*JAMSTEC 2628 (New)
(l) Japan Advanced Institute of Science and Technology 3202 (New)
(m) Japan Atomic Energy Agency 385
(n) JAXA 2019
(o) Kansai University 3323
(p) Kyushu University 2813
(q) Nara Institute of Science and Technology 2814 (New)
(r) National Institute of Informatics , NAREGI 2425
(s)*NICT (National Institute of Information and Communications Technology) 2908 (New)
(t) Research Organization for Information Science and Technology (RIST) 2324
(u) Research Organization of Information and Systems 2817
(v) RIKEN, Advanced Center for Computing and Communication 1953
(w) Saitama Institute of Technology 268
(x) Saitama University 266
(y) Tohoku University 189  IFSとIMR
(z) Tokyo Tech 3208 (New)
(aa) University of Tokyo, The 3003 平木研究室

7) Technical Papers
SCというとどうしても展示やイベントなど華やかなものに注目があつまるが、レベルの高い査読による原著論文(technical papers)は言うまでもなく重要な部分である。

論文投稿総数は277、そこから59編が選ばれた。採択率は21%である。日本が関連した発表としては、次の3件である。

Akira Nukada, Yasuhiko Ogata, Toshio Endo, Satoshi Matsuoka (Tokyo Institute of Technology)
“Bandwidth Intensive 3-D FFT kernel for GPUs using CUDA “
Takeshi Yoshino (Google), Yutaka Sugawara, Katsushi Inagami, Junji Tamatsukuri, Mary Inaba, Kei Hiraki (University of Tokyo),
“Performance Optimization of TCP/IP over 10 Gigabit Ethernet by Precise Instrumentation”
Ryutaro Susukita et al. (Institute of Systems, Information Technologies & Nanotechnologies, Fujitsu, Kyushu University, RIKEN),
“Performance Prediction of Large-scale Parallel System and Application using Macro-level Simulation”

 

今年も、審査付きの原著講演(30分)と並列に、Masterworksと称して、さまざまな応用分野の総合報告が招待講演(45分)として計16件設けられていた。18日(火)は”HPC in the Arts”(2件)、”HPC in Transportation”(2件)、”HPC in Finance”(2件)、19日(水)は、”HPC in Biomedical Informatics”(4件)、20日(木)は”HPC in Alternative Energy Technologies”(2件)、”Green HPC”(4件)であった。

最近はポスター発表も重要視されている。投稿は150件以上あったが、厳正な審査の結果、通常のポスターが54件、大学院生のポスターが3件、学部生のポスターは2件採択された。火曜日5時15分から7時までPosters Receptionがあり、近くで軽食や飲み物が提供されていた。学生のポスター5件は、水曜日の午前の特別なセッションでプレゼンテーションがあり、優秀賞が選考された。

8) Fujitsu Users Meeting 2008 in Austin
富士通のユーザミーティングは、チュートリアルやワークショップしか始まっていない16日(日)18時から、古式ゆかしいThe Driskill Hotelで開催された。

(a) ご挨拶 富士通㈱代表取締役社長 村野和雄

(b) 招待講演 Rick Stevens, ANL/U. of Chicago, “The Prospect and Challenge for Exascale Computing”

世の中には、ゆっくりではあっても着実に物事を変化させる力がある。例えば、Moore’s Law, Globale Warming, Wireless, Digital Imaging など。逆に、予期しなかった急激な変化を与えるものもある。例えば、P2P, SNS, Subprime Mortgageなど。
Top500によると、並列性は18ヶ月ごとに2倍になっている。この傾向が続くと、2012年には、速度は25 PFlops、並列性の下限は1M~2M、2015年には300 PFlops、10M~100M、2019年には1200 PFlops、400M~1000Mであろう。
このことから、Exaflopsは2017±2年に実現し[ちょっと気が早いのでは?]、並列度は10~100 Mになるであろう。ソケット当たり1000 cores。このためには3D chip packageやoptical interconnectが重要である。メモリの総量は10~100PB、I/O channelは>10,000、二次記憶は10~100 ExaByteであろう。
他方ネックとなりそうな点は、消費電力、チップとチップのインタフェース、パッケージ間の接続、fault tolerancyなどであろう。
プログラミングモデルとしては、CUDA, CS, PGAS (Partitioned Global Address Space, CoArray Fortranなど)、それにHPCSの言語(chapel, Fortress X)が考えられる。
応用としては、気象、内燃機関、流体、QCD、宇宙など。連続系は解像度を増加させることができ、離散系は複雑性を増やせる。確率的シミュレーションでは統計が増やせる。
最後に、DOE Office of Scienceのもと、Horst Simon, Thomas Zacharia, Rick Stevensが共同議長を務めたパネル”Modeling and Simulation at the Exascale for energy and the Environment”(2007) について触れた。

私の印象として、Exascaleのハードについては困難があるにしても課題がはっきりしているが、その応用については展望が不足しているようだ。

(c) 招待講演 Yukiko Sekine, DOE, “Project Management and Resource Allocation for HPC and LCF Projects”
DOEのOffice of Scienceで、Advanced Scientific Computing Researchを担当している関根さんが、計算資源の配分の考え方について(大部分日本語で)講演した。

DOEは6つのセクションからなり、それぞれの予算の割合は、BER (12%), BES (33%), FES (10%), HEP (17%), NP (11%), ASCR (9%)である。ASCRには11のdivisionsがあり、数学、コンピュータ科学、などの研究やScientific Partnership(SciDACなど)を担当し、3つのスーパーコンピュータやネットワーク(ESnet)などのfacilitiesを持っている。
3つのセンターは、LBNLのNERSC、ANLのALCF、ORNLのOLCFである。このうち、NERSCはproductionのためであるが、他の二つはcapability のためである。
DOEは資産の導入に際して、Orders 413.3, Program and Project Management for the Acquisition of Capital Assets.というmanagement modelを2006年に決定した。これによると、”Project Phase”は、RFP (Request for Proposal)、契約、インストール、acceptance までで、Order 413.3に従って行われる。これから、System Shakeout, Early Science Runsを経て、Operation Phaseに移る。
計算資源の一定割合はINCITE (Innovative and Novel Computational Impact on Theory and Experiment) によって配分される。これは競争的なプログラムであり、LCFは企業や海外に対してもオープンにすべきであると危害から要請されている。LCFの80%、NERSCの10%はINCITEによって配分される。INCITEの提案は3人のpeer reviewer によって評価され配分される。100件ほどの提案がある。reviewerは一人最大3件まで評価する。評価は3日間DCのあたりに集まってon siteでなされるものと、集まらずにメールでなされるものとがある。提案の申請計算時間は2000M processor hoursあるが、採択されるのは600M processor hoursである。
私が担当しているNERSCでは、70%以上(160M Processor hours)がSC Program Officeによって配分され、10%がINCITEである。3100人のユーザがあり、400のプロジェクトが走っている。NERSCはユーザの教育も担当している。INCITEのユーザの60%がNERSCの卒業生である。

彼女は2012年9月に引退した。

(d) 富士通のPETAへの取組みのご紹介 富士通㈱ 木村康則
JAXAに納入予定のFX1は、135 TFlopsピークで、308 bitsの仮数部を持つ演算器を備えた高機能スイッチや、仮想的に1プロセッサに見せるIMPACTを提供する。
富士通の次世代機Varunaは水冷で、45nmテクノロジーを用い、CPU当たり100 GFlops[128かもしれない?]、ラック当たり10 TFlopsである。1ノードは128 GFlopsで、Tofuという6次元メッシュの相互接続網を持つ。双方向で5 GB/sで最大24 PFlopsまで構成できる。
小規模な構成では、96 nodes+3 I/O channelで、ピーク49.2 TFlops、メモリ6.1 TB、ディスク43 TBで、690 MFlops/Wのエネルギー効率を持つ。

(e) 富士通ブースのご紹介 富士通㈱ 奥田基

(f) ご挨拶 富士通㈱ 取締役副会長 伊東千秋

9) 開会式
18日(火曜日)の8:30から開会式があった。聴覚障害の人のために手話通訳がなされていた。

(a) 組織委員長Pat Tellerあいさつ
この中で、テキサス州知事からのメッセージが代読された。委員、多数のボランティア、SCinetの担当者などへの感謝が述べられた。展示数、参加者数、Education Programなどの紹介があった。プログラムチェアの挨拶が、ビデオであった。
(b) オースチン市長(Will Wynn)の挨拶
アメリカで14番目に大きい市であると豪語。本当かな?
(c) SCxyの歴史のビデオ上映。このビデオは参加者にDVDディスクとして配布された。
(d) 今年、3人の関係者の訃報があったことが報告された。Ed Oliver、George Michael (1988のGeneral Chair)ともう一人[誰?]。
(e) 全21回のSC参加者24名にメダルが授与された。日本からは三浦謙一氏1名。

10) Keynote Address Michael Dell
開会式に引き続いてDell社の創業者Michael Dell氏の基調講演があった。まるでコマーシャルトークだという批判が聞かれた。内容を要約する。

HPCはすべてに関係している。ブラックホールを作るのではないかと言われたLHCと同様に、人間の能力を解き放つものである。人間の脳は20PF相当と推定されるので、日本の次世代の10PFのコンピュータはその半分である。
HPCにより大きな問題を解くことができ、我々の進化を加速する。今の経済危機はHPCで解決しないのか? スーパーコンピュータには3つの波があった。最初の波はベクトルコンピュータである。次はマイクロプロセッサに基づく超並列である。第三の波はGPUのような特殊プロセッサである。NVIDIAのTesla cardを指すことにより1TFのデスクトップが実現する。今年の展示でもCrayからSiCortexまでこのテーマがあふれている。今後の問題は標準化である。第四の波は、標準化、高密度、省エネルギー、より使いやすいシステムでなければならない。
第四の波を支える技術は、超高密度サーバーである。2010+にはプロセッサ密度は80 coresになるであろう。5年前には$1Mで2TFが買えたが、今なら25TFが買える。同時に外部記憶装置についてもより多くの可能性がでてくるであろう。気候変動や遺伝子解析だけでなく、アニメーションフィルムを作ることもでき、また製造会社がものを実際に製造する前に仮想的に製品を作ることができる。これによりサービスを革新することができる。
よりよい社会、よりよい経済、よりよい惑星(地球)のために技術革新を続けなければならない。再生 “Regeneration” を目指そう。

11) AIST booth presentation
産総研から頼まれて、産総研のブースで18日15時30分から”HPC Trends in Japan” と題してプレゼンテーションを行った。展示会場でのプレゼンテーションは、会場を歩いている人の足を止められれば成功であるが、これがなかな難しい。幸い、AISTのブースの前はQuadricsのドタキャンによる休憩所になっていたので、そこの人々の耳を奪うように持ち前の大音響で講演した。

TO500などは次回に。

(画像:SC08での20周年記念展示風景   出典:理化学研究所 )

left-arrow   50history-bottom   right-arrow