世界のスーパーコンピュータとそれを動かす人々


2月 27, 2017

HPCの歩み50年(第111回)-2004年(h)-

小柳 義夫 (高度情報科学技術研究機構)

Top500 BoFで11月版のTop500が議論された。BlueGene/Lはゴール直前でColumbiaを抜き返して1着となった。2002年6月から5回連続で首位を占めていた地球シミュレータは何と3位に下がってしまった。OhioスーパーコンピュータセンターのStan Ahalt所長はブルーカラーコンピューティングの重要性を強調した。

SC2004(続き)

8) 基調講演
今年の基調講演は、National LambdaRail Inc. (NLR)のTom Westであった。題して、”NLR: Providing the Nationwide Network Infrastructure for Network and ‘Big Science’ Research”。内容はNLRの事業の説明。NLRは一種のコンソーシアムで、多くの大学や研究機関をメンバーとし、全米に光ファイバーのインフラを構築している。他のネットワーク組織と違い、NLRは高密度の波長多重技術を利用し、一本のファイバー上に多くのネットワークを展開することができる。

1991年にNSFNETがT1 (1.5 Mbps) を実現したのは画期的だった。その後、Internet2、Abilene、ESnetなど研究教育用のネットワークは進歩してきている。しかし、これらは、研究教育機関が所有しているものではない。その後、研究グループが自分でファイバーを持つようになった。その背景には、ネットワーク技術の進歩と、ダークファイバー(と波長多重技術)が利用可能になったことがある。しかし、カナダ、オランダ、オーストリアなどの方が進んでいる。これらの国は、政府の資金を投入してリーダーシップを確立し、ネットワークのダイナミックスを変革している。研究機関が所有する形でファイバーを引くのがNLRの目的である。

既にダークファイバーを27200マイル以上引いた。5年計画の目標は$115Mを投入して全米にファイバーを引くことである。ただし、政府からの直接の資金提供は受けない。メンバーである組織と、協力関係にある会社が出すのである。

将来は、multiple heterogeneous virtual network を構成し、ネットワーク技術の研究を推進し、最先端技術と実用技術とのギャップを縮めなければならない。

あまりよく理解できなかったが、どうも「基調講演」としてはお粗末な感じがした。高々招待講演であろう。

9) SC Global
コーヒーブレークの後、10:30からSC Globalの部屋をのぞきに行った。SC Global Vice ChairのJackie Kern (NCSA) という女性が走り回っていた。6大陸数十カ所とつながっているとのことで、前面のスクリーンにそれぞれの相手側の映像を映しだしていた。

最初の催し物は、SC Globalの基調講演 “Towards a Planetary Collaboratory” (Larry Smarr)であった。Larry Smarrは言うまでもなくNCSAの創立者、初代所長で、15年以上この分野で活躍している。

スーパーコンピュータは望遠鏡や加速器と同じく「データ製造器」である。しかも、あまりに高速にデータを製造する。2000年のSCで、Steve Wallachは、2010年にペタフロップスを実現するには、光ネットワークと波長多重が重要になると言った。すでに、1 Tbpsの何分の一のネットワークができつつある。TFlopsよりTbpsの方が成長の速度が速い。

1989年、ボストンで開かれたSIGGRAPHで、光ファイバーを使ってNCSAのCray2と結び、対話型可視化を実現した。SC 95では、OC-3 (155 Mbps) を使ってI-Wayの実験が行われ、現在のグリッドの基盤を築いた。1997年にはGlobal VR Collaborationが実現し、1999年には、Access Gridが提案された。これにより簡単にVideo Meetingができるようになった。

10) Exhibitors’ Forum
Larry Smarrの講演を途中で抜け出して、Exhibitors’ Forum の方に行った。11時からは、IBMのTurek が、”One Size Does Not Fit All!” (日本語に訳せば「サイズフリーの計算機なんてない」ということか)を講演している途中に入った。ずっとサーバー製品の話をしていて、最後にちょっとだけBlueGene/Lに触れた。省電力と省面積を強調していた。

続いて、日立の”Introduction to Hitachi Enterprise Blade Server for HPC and Super Technical Server Next Model” というプレゼンがあった。前半は、Timothy Lanfear氏がしゃべっていたが、後半に國正理恵氏がプレゼンを行った。彼女は非母語者としてはずいぶん英語が堪能な方ではあるが、やはりセールストークとしての迫力は、アメリカの会社の腕こきのセールスマン・ウーマンには敵わない、という印象であった。他人のことは言えませんが。

11) Top500 BoF
5時30分から、Top 500 の BoF (Birds of a Feather) があった。日本の地球シミュレータは、今年の6月まで連続5回(2年半)に渡って35.86 TFlopsで首位を独占し続けてきた。これを破るのはASCI Purple (peak 100 TFlops) かと思っていたが、この予想は裏切られた。アメリカはASCIだけでなく色々な分野のHPCに投資をしている。まず声を上げたのはIBMである。米IBMは、ミネソタ州Rochesterの施設において、BlueGene/Lの8ラックモデル(フルサイズの1/8)で、36.01 TFlopsを9月16日に達成した、と発表した。これはほんのわずかながら地球シミュレータを上回る速度であった。

これで今年のトップは決まりかと思っていたら、10月26日にSGIから驚くべき発表があった。SGIがNASA Amesに納入予定のItanium 2ベースのColumbiaがBlueGene/Lを上回る42.7 TFlopsを出したということであった。しかしこれで終わりではなかった。SGIは実は隠し球を用意していた。このデータは、フル運転で得たものではなく、全体の8割しか動かしていない。そして、全体、すなわちItanium 10240個を作動させて得たLinpack値51.87 TFlopsは隠してあり、他の計算機が僅差で追い越そうとしてもこの隠し球で振り切る計略であった。これでSGIは不動の1位を確保したつもりになっていた。ちなみに日本原子力研究所は来年3月、この1/5のサイズのシステムを導入する予定である。

ところがそうは問屋が卸さなかった。土壇場になってとんだ伏兵が現れた。11月4日DOEは、IBMがLLNLに納める予定のBlueGene/Lの1/4 (16ラック)モデルで、70.72 TFlopsを記録したと発表した。なんと地球シミュレータの約2倍のスピードである。地球シミュレータは3位に落ちてしまった。

このようなドタバタ(場外乱闘?)を経て、2004年11月版のTop500のリストは11月8日(月)の5時過ぎ、Gala Openingの直前、記者会見とほぼ同時に発表された。20位までは以下の通り。順位の*印は、今回初登場のマシンである。

順位 設置場所 システム コア数 Rmax Rpeak
1* IBM BlueGene/L beta-System 32768 70.720 91.750
2* NASA Ames Columbia-SGI Altix 1.5+Voltaire Infiniband 10160 51.870 60.960
3 海洋研究開発機構 地球シミュレータ 5120 35.860 40.960
4* Barcelona Supercomputing Center MareNostrum-PowerPC970+Myrinet 3564 20.530 31.363
5 LLNL Thunder-Itanium2+Quadrics 4096 19.940 22.938
6 LANL ASCI Q 8192 12.880 20.480
7* Virginia Tech System X-Apple+Mellanox 2200 12.250 20.240
8 IBM Rochester BlueGene/L DD1 8192 11.680 16.384
9* NAVOCENO p655 (1.7 GHz Power4+) 2944 10.31 20.0192
10 NCSA Tungsten-P4 Xeon+Myrinet 2500 9.819 15.300
11 ECMWF p690 (1.9 GHz Power4+) 2176 9.241 16.538
11* ECMWF p690 (1.9 GHz Power4+) 2176 9.241 16.538
13* US Army Research Lab. John von Neumann-Xeon+Myrinet 2048 8.770 13.926
14 理研 RIKEN Super Combined Cluster 2048 8.728 12.534
15 IBM Watson Res. Center BlueGene/L DD2 4096 8.655 11.469
16 PNNL Mpp2-Itanium2+Quadrics 1936 8.633 11.616
17 Shanghai Supercomputer Center Dawning 4000A-Opteron+Myrinet 2560 8.061 11.264
18 LANL Lightning-Opteron+Myrinet 2816 8.051 11.264
19 LLNL Xeon 2.4+Quadrics 2304 7.634 11.060
20 NERSC Seaborg-Power3 375MHz 8192 7.304 12.288

 

100位以内に入った日本国内設置のマシンは以下の通り。

順位 設置場所 システム コア数 Rmax Rpeak
3 海洋研究開発機構 地球シミュレータ 5120 35.860 40.960
14 理研 RIKEN Super Combined Cluster 2048 8.728 12.534
28 産総研グリッド研究センター AIST Super Cluster P-32 2200 6.155 8.800
32 航空宇宙技術研究所 PRIMEPOWER HPC2500 (1.3 GHz) 2304 5.406 11.980
33 九州大学 PRIMEPOWER HPC2500 (1.56 GHz) 1472 4.552 9.185
60 物質材料研究機構 SR11000-H1/56 56 3.319 6.093
71 分子科学研究所 SR11000-H1/50 50 2.909 5.440
89 気象研究所 SX-6/248M31 248 2.155 2.232

 

さて9日夕刻のBoFでは、最初にH. Simonがプレゼンを行った。まず、Linpackを性能評価に用いることについて賛否両論を紹介し、いろいろ批判はあるが、やはり便利な指標であることを強調した。同時に、HPC Challengeのような多面的なベンチマークも必要であると述べた。

上位では結構入れ替わりが激しい。Top10のうち、1, 2, 4, 7, 9は新顔である。7は去年と同じくMacをInfinibandで結合したものであるが、性能はずっと向上している。また、2002年のTop10のうち、今回残っているのは地球シミュレータだけである。4位のBarcelonaのシステムは、マシン自体はIBMのサーバとMyrinetという普通のシステムであるが、設置してあるところがなんと元修道院のチャペルの中とのことである。

続いてTop3の表彰式が行われた。1位は、IBMの人が賞状を受け取った。2位は、SGIのBishop社長とNASAの人とが賞状を受け取った。3位、地球シミュレータが呼ばれたがだれもいない。Simonが「北脇さん、いませんか。さっきいたのに。」とか叫んでいた。これでは、3位に落ちたので、すねて出てこないように思われてしまう。やはりこう言うときは、堂々と出て行って、1位と2位にお祝いを申し上げ、『君たちも5回連続して取れたら本物ですな。』ぐらい言ってやったらよかったのに、と仲間内で噂していた。実際は、前日8日5時の記者会見で、北脇さんは1位と2位を祝福し、「応用でいい成果を期待する」というコメントを述べたそうである。BoFで表彰式をやるとは聞いていなかったので、もう済んだものと勘違いしたとのである。

続いて傾向の分析として、今回Top500の合計が1.127 PFlopsとなり、初めてペタフロップスに達したことが報告された。93年の最初の表では1.167 TFlopsであった。Top500の入会条件は、93年には0.4 GFlopsであったが、今年は850 GFlopsで、次回はおそらくTFlopsが必要であろう。これを将来に外挿すると、2009年にはPFlopsマシンが出現し、2020年にはlap topがTFlopsになるであろう(本当?)。ベンダーとしては、IBM、HPに続いて「その他」が3番目であったとか。Crayのシェアは減少している。

続いて、Strohmaierが分析を続けた。こういう分析は、件数で見るか、Linpack性能の合計で見るかで傾向が違う。大陸別に見ると、アメリカが微増している。国別に見ると、中国(18件)とインドが増えているのに対して、日本のシェアが減っていることが報告された。これはゆゆしき事態である。アーキテクチャでは、ベクトルが10%、MPPが減って、クラスタやコンステレーション(SMPのクラスタ)が増えている。プロセッサではIntelが大部分で、その他は、HPやIBM。相互接続は、件数でいうとMyrinet, GbE, Power Switchが主流。性能でみると、Quadricsが少し大きく見える。

最後にJack DongarraがHPC Challenge benchmarkの話をした。これは、以下の7つのベンチマークから成る。

a) HPL – the Linpack TPP benchmark which measures the floating point rate of execution for solving a linear system of equations.
b) DGEMM – measures the floating point rate of execution of double precision real matrix-matrix multiplication.
c) STREAM – a simple synthetic benchmark program that measures sustainable memory bandwidth (in GB/s) and the corresponding computation rate for simple vector kernel.
d) PTRANS (parallel matrix transpose) – exercises the communications where pairs of processors communicate with each other simultaneously. It is a useful test of the total communications capacity of the network.
e)RandomAccess – measures the rate of integer random updates of memory (GUPS).
f) FFTE – measures the floating point rate of execution of double precision complex one-dimensional Discrete Fourier Transform (DFT).
g) Communication bandwidth and latency – a set of tests to measure latency and bandwidth of a number of simultaneous communication patterns; based on b_eff (effective bandwidth benchmark).

すでに多くのデータが載っているが、このうちSX-7 のものは、東北大学情報シナジーセンターから提供したものだそうである。

12) High Performance Computing in Context
10日(水)朝一番の招待講演はDeputy UnderSecretary of Defence for Science and Technology(国防省科学技術担当次官補、といった感じであろうか)のCharles J. Holland氏の、応用の広い視点から見たHPCというような講演であった。

20年前からHPCは国防のmissionであった。国防の応用というと、といって爆弾の投下と攻撃のシミュレーションなど生々しい兵器の絵をたくさん見せた。HPCにより同じ費用と時間で重要な問題をよりよく解くことができる。核兵器貯蔵、船舶設計、気象、航空力学、天候など。解けない問題を「最初に」解くことによって、首位を獲得しそれを維持することができる。

HPCのゴールは何であったか。1947年から現在まで。ENIAC, Cray 1, iPSC/1(懐かしい)、Beowulf at NASA, 地球シミュレータ、BlueGene/Lの写真を見せた。ハードだけでなく(システム)ソフトウェアの標準化とツール化も重要である。さらに応用ソフトが重要。ASCIの投資の大きな部分は応用ソフトである。

世の中には「偽りの神様」を礼拝している輩がいる。まずTop 500。DOD applicationsのスピードと、Linpack HPLのスピードを対照したグラフを示し、”Many codes cannot utilize entire HPC systems effectively.” 本当の戦略は、解を求めるまでの時間である。Top 500はあまりに単純化しすぎている。Top 500 masks fundamental technological issues. Top 500 is a dagerous ….

法則とトレンドでは、ムーアの法則はトランジスタ密度が1.9年に2倍に増えるというが、熱密度は3.3年で2倍になる。もっと重要なのはLaws of software economicsである、といってCOCOMOII modelとかを示した。

Software Challenge in HPC: DOE Software challengeとしては、戦闘機の開発予算の40%はソフトである。2003会計年度で$21Bにも及んでいる。DoD Software is growing in size and complexity. Cost of HPC Software >> Hardware.

Analytic Agenda of HPC(どういう意味):analytical methods and toolsとして、DARPA, DOE, NSF, NSA, NASAなどが協力しているHPC Challenge Benchmarkについて触れた。実用性能を重視せよという主張には賛成であるが、軍事シミュレーションの映像には食傷した。

13) Toward a High Performance Computing Economy
10日(水)の2番目のスピーカーはStan Ahalt (Executive Director, Ohio Supercomputer Center)であった。聴衆は1000人ほど。趣旨は、”Blue Collar Computing” の重要性を訴えようということである。現在の計算機の利用スペクトルを見ると、low performanceのところに大きな固まりがあり、他方high endのところにもある固まりがあるが、中間の性能の計算機の利用は少ない。これを埋めようというのがBlue Collar Computing の趣旨である。なんでそう呼ぶのかは知らないが、high end がwhite collarということであろうか。

HPCは今やマーケットを構成しうるかどうかという決定的な瞬間に来ている。HPCマーケットが、Blue Collar Computingを巻き込むことにより根元的な変化をとげ、計算科学技術における主導権を再活性化しなくてはならない。

どんな技術でも、commercial forceが市場を変える。例えば、自動車は最初実用本位のものであったが、ほどなく豪華なセダンが主となった。現在、3次元可視化に見られるようにcommercialization of HPC が起こっている。日常生活にHPCが入りつつある。IT sector must influence HPC. 1990年代ITは180万人の雇用を生み出したが、2000年に入って60万人の職を失った。しかし、2009年には$81Bの連邦政府の購入が予測されている。Growing awareness of HPC importance as a competitive tool. Joseph Gardner(アナリスト)はHPC as a critical tool と言っている(ビデオを見せた)。

しかし、HPCのマーケットはまだ需要に見合っていない。このような未来のHPCユーザに届くことが出来れば、産業界も国家も生産性と競争力を強めることができる。科学技術におけるHPCの有用性は、まだ多くの産業分野に届いていない。このような分野に計算の力を吹き込めば劇的な利益がある。HPCの利用が、新しい市場を開拓し、新しい機会と職を創造する強い道具になりうる分野が多く存在する。

HPCへ参入する障壁がいろいろあり克服する必要がある。

・人的資源—HPCのスキルを持った人が不足している。計算科学のカリキュラムが悪い。ハイスクールで並列処理を教えれば子どもは興味を持つはずだ。
・HPCの問題解決能力を知らない人が多い。
・スーパーコンピューティング業界が、実用的な問題ではなく、Grand Challenge問題にばかり興味を示していること。
・ROI (Return of Investment, 投資利益率):HPCの結果はlong-termだからすぐには回収できない。
・Culture clashes between industrial and HPC communities
・Lack of experience and imagination with HPC
・Tools これが最大のバリアである。Desk topについてはツールの重要性は理解されているが、HPCでは乏しい。従ってよいツールが出来ず、悪循環。結局”Hard to use means hardly used” なのだ。
・ Usability and Productivity:HPC ソフトウェアのusabilityは、ハードの進歩に追いついていない。

OSC(オレゴンスーパーコンピュータセンター)は、これまでHPCの経験や資源と無縁であったような産業領域にターゲットを向けている。Blue Collar Computingの目的は、日常的な研究、科学、技術の仕事を、デスクトップからHPCプラットフォームに移し、並列計算の利用を計算の主流にすることである。

スペクトルの最上端には、Grand Challenge問題があり、巨大なコードを巨大な数のプロセッサを使って計算している。ここで提案したい目標は、中間部を谷ではなく山にすべきである。これがBlue Collar Computing (TM)である。なぜこれが今必要かというと、

・多くの会社がすでにHPCに投資している
・democratization of HPC、すなわちマルチコアのプロセッサが出来たり、plug-n-playのクラスタが出来たり、HPCのハードは個人で使えるものになりつつある。
・ momentum(勢い)いま、HPCS (High Productivity Computing Systems)やHECRTF (High End Computing Revitalization Task Force)が動いている。

どう加速するか

・public-private partnership(何?)
・language and tools
・幼稚園から大学生までK-16計算科学のカリキュラムを完備せよ。

次は表彰式など。Gordon Bell賞では地球シミュレータが2002年以来3年連続受賞した。

(タイトル画像:当時TOP500で2位に入ったNASAにインストールされたSGI AltixシステムColumbia 出典:Wikipedia)

left-arrow   50history-bottom   right-arrow