世界のスーパーコンピュータとそれを動かす人々


7月 18, 2016

HPCの歩み50年(第91回)-2002年(g)-

小柳 義夫 (高度情報科学技術研究機構)

SC2002でも地球シミュレータが話題となっていた。NSFやDOEのHPCの責任者が今後の計算資源増強によって日本を追い抜くとともに、アメリカが広い分野ですでに計算科学の成果を出しており、この点では日本より一歩先んじていることを強調した。

SC2002

1) 概観
SC2002: High Performance Networking and Computing Conference国際会議(通称 Supercomputing 2002) は、15回目の今年、”FROM TERABYTES TO INSIGHTS”(テラバイトから洞察へ)の表題のもとで、メリーランド州ボルチモア(首都Washingtonの郊外)のBaltimore Convention Center で11月18日から23日まで開催された(educational program やtutorialは16日から)。詳しくは筆者の報告を参照のこと。昨年9月11日の同時多発テロの記憶は多少薄れたものの、イラクへの攻撃が刻一刻と迫り、あいかわらずただならない雰囲気である。参加者は7200人、展示は221件、論文発表67件である。

今年の大きなテーマは3月に稼働開始した日本の地球シミュレータ(横浜)であった。なにしろ6月のTop500において久々の1位を取り戻したばかりか、昨年の1位の5倍の性能であった。佐藤哲也センター長が招待講演を行い、Gordon Bell賞のうち3件を地球シミュレータ関係の論文が取得した。基調講演でも、招待講演でも、地球シミュレータの名前が何度も言及された。最終日には、「40 TFlop/sの地球シミュレータシステムがこれからのスーパーコンピュータ開発に与えるインパクト」というパネルがもたれた。アメリカとしては、予算獲得の格好のネタだったようだ。

今年の新しい試みはIntelliBadgeという電波による追跡システムで、どの会場に何人いるかがreal timeでわかるんだそうだ。「まあ、トイレは別だが」と笑いを取っていた。今回は希望者だけだが早くも売り切れてしまったようだ。さすがもの好きが多い。技術不信のわたしなどまっぴらごめん。

会場のネットワークSCinetはますます増強され、外とはOC192 (10 Gb/s)が4本、場内のコアは170Gb/sにも及ぶ。無線LANは、802.11bを全フロアに、802.11aを展示スペースに張っている。

2) 企業展示
主催者発表によると、今年は122の企業展示(昨年の27%増)があった。このうち46社は新顔とのことである。分類は難しいが、いわゆるベンダが12、ネットワークが17、ストレージが14、クラスタが12、ソフト(Grid middlware、言語、OSを含む)18、出版5などである。ストレージやネットワークについては、ベンダも含めてかなりの力の入れようであった。

目についたところでは、IBMがASCI Purpleの受注やBlue Gene/Lで盛り上がっていた。サーバとしても、新たにRegatta p655を発表した。詳しくは後の記事参照。

Crayは、SV2として開発されていた超並列ベクトル機X1を発表した。詳しくは後の記事参照。

SGIは少し前にItanium 2 baseのOrigin3900を発表して意気が上がっていた。これはOrigin 3000ファミリの最上位で、従来の4倍の高密度実装を実現した。

Sun Mycrosystemsは、Sun Fire 6800/12000/15000を結合する高速のFire Link(Wildcatというコードネームで開発されていた)を発表した。スイッチを使えば最大8台まで接続できる。新しいサーバの発表はなかった。

NECは地球シミュレータで開発した技術によりベクトル計算機SX-6/SX-7を販売している。Itanium 2のサーバも出している。

富士通は、これまでのVPPシリーズに変えてSparcアーキテクチャに基づくチップを用いたPrimePowerを出した。今後、Top500でどの位置を占めるか期待される。また、InfiniBandに基づくクラスタ接続装置を展示していた。今のMyrinetと同等以上のバンド幅やlatencyを実現しているとのことである。

日立は、SR8000シリーズを宣伝していたが、正面にroad mapを掲げ、次期機種をほのめかしていた。

Intelは一時InfiniBandの開発に腰が引けているとの噂もあったが、これをうち消すようにLANLに業界最大(dual Xeonのノード128台)のInfiniBandクラスタを構築したと発表した。

AMDはx86の64bit版ともいうべきOpteronを開発中であったが、今回1.5 GHzの石を展示した。某AMD fanによると、「指で触ったら冷たかった!」Opteronは来年前半に出荷が予定されている。アメリカのRed Stormに使われる予定。

3) 研究展示
今年は99の研究展示(Research Exhibits)が出展された。日本からは11件、Japan Grid Cluster Federation (産総研、筑波大、eHPC project、PC Cluster Consorcium、東工大などの連合体)、大阪大学サイバーメディアセンター、同志社大学、地球シミュレータセンター、東北大学流体研、原子力研究所計算科学技術推進センター、航空技術研究所、高度情報科学技術研究機構(RIST)、理化学研究所、埼玉大学連合、東京大学データレザボアプロジェクトである。昨年はテロ直後で出展をあきらめたところもあったが、今年は盛況であった。JGCFでは展示会場で多くのプレゼンを行った。筆者は関係者でもあるが、木曜日の1時30分から短い講演を行った。ガヤガヤ人が動き回っている前でのプレゼンは「辻説法」みたいなもので、なかなか度胸が要る。

アジア関係やいくつかのアメリカの展示がPacific Rim としてひとまとめに(それにしてはUniv. of HoustonやCornellなどもあったが)Zone 1に置かれたが、それがSCinetの大きな機械の壁で本会場から隔てられ、人の流れが少なかった。昨年に続く不当な取り扱いでみんなで怒りまくった。担当者が来年はちゃんとすると弁明していた。なお、航空技術研究所の廣瀬直喜氏は研究展示の委員であった。来年への引き継ぎをよろしく頼んだ。

4) Technical papers
本来、学術的に一番大事なのは投稿ベースの67件のtechnical papers(原著論文)である。今年のプログラム委員会には日本から、松岡聡(東工大)、三浦謙一(富士通)、関口智嗣(産総研)、田中良夫(産総研)が加わった。

分野別のセッション数は、応用7、性能予測6、グリッド6、ネットワーク6、data 6、コンパイラ・ランタイム6、可視化3、ミドルウェア3、web service 3、メッセージパシング3、スケジューリング3、数値計算3、アーキテクチャ3、system component 3、Gordon Bell 6である。これらの論文はCD-ROMで配られた。

日本からの論文は、Gordon Bell賞関係4件の他は

“Data Reservoir: Utilization of Multi-Gigabit Backbone Network for Data-Intensive Research” Kei Hiraki (U Tokyo) et al.

であった。あと、

“Collaborative Simulation Grid: Multiscale Quantum-Mechanical/Classical Atomistic Simulations on Distributed PC Clusters in the US and Japan” Hideaki Kikuchi (Louisiana State U) et al.

が日米混成チーム。

5) Keynote Address
今回の基調講演は、NSF DirectorのDr. Rita Colwellによる”Computing: Getting us on the path to wisdom”であった。彼女はbiotechnologyの出身で、第11代のNSF Director (1998/8/4より)である。まず、エマーソンの「wisdomとは”to see miraculous in the common”である」という言葉を引用して、歴史的な話から現在までのNSFの戦略を語った。

NSFが進めているTeraGrid計画は、合衆国のすべての研究者が使える最も進んだ計算施設である。これによって広い領域の研究者が、知的な発見のための、高性能な計算、広帯域のネットワーク、大容量のデータ貯蔵、高度なツールにアクセスできるようになる。例として、物理学、天文学、生命科学などへの応用を取り上げた。

これまで科学はreductionism(還元主義)で、要素の基本法則を理解することに力を注いできたが、今後はシミュレーションによるintegration(統合)も重要になり、両者の協力が必要になるであろう。

スーパーコンピューティングは人類をwisdom(叡智)に導くのである。

6) Cray X1
1日目(19日火曜日)の15:30からのMasterworksはSteve Scott (Cray)による”The Cray X1″であった。X1はこれまでSV2というコードネームで開発されてきたもので、去る11月14日に正式発表された。Scott氏によると、X1はXMP, YMP, C90, T90, SV1のPVP (parallel vector processor)の路線と、T3D, T3EのMPP (massively parallel processor)の二つの路線を統合したものであり、両者の長所を兼ね備えている。あわせて、10年のroad mapを示し、我が社こそ2010年までにペタフロップスの実効性能を実現すると豪語した。

氏は、”The Cray X1 is NOT your father’s vector machine.”と強調した。主たる違いは、命令セットアーキテクチャが新しいこと(32 64-word vector registers and 64 scalar registers, all operable under mask. 64 and 32 bit IEEE arithmetic)、システムアーキテクチャが新しいこと、マイクロアーキテクチャも新しいことを挙げた。特に、X1は短いベクトルに有効であると強調した。

1ノードは4プロセッサから成る。プロセッサは2本のパイプから成る演算器が4個で構成され、12.8 GFの性能を持つている。この4個は同期され、8本のパイプとも見えるし、2本のパイプが4種あるとも見える。各演算器はそれぞれ「キャッシュ」を持っている。システム全体はNUMAであり、1024 nodesまで拡張可能、つまり最大52.4 TF。1キャビネットには16 nodesまで収容でき、819 GF.。キャビネット間は2次元トーラスで結合する。

スケーラビリティはT3Eの遺産である、と氏は強調した。decoupled microarchtectureを再び強調した。Cache coherenceはdirectory-baseで、3方向のupdateをnsで実行できる。

OSはUNICOS/mpであり、single system imageを実現する。I/O subsystemはPCIXでfiber channelを用いる。OpenMPもMPIも利用できる。

機械的には、裸のチップに冷媒を直接吹き付けて気化熱で冷却する新技術を開発した。展示のCray社のブースでは、実物を展示してあった。。

すでにAHPCRC (米国陸軍HPC研究センター)や、スペイン気象研究所など5カ所から受注し、さらに注文を期待している。ORNLには評価のため32プロセッサのシステムが設置されている。

7) IBM社のHPC路線
1日目(19日火曜日)16:30からIBMの Exhibitors’s Forumがあった。この日の11時に会場でASCI PurpleとBlue Gene/Lに関する重大発表をしたばかりであり、かなりの人数が集まった。講演はHPC担当副社長 Peter Ungaro氏。

氏は歴史から説き起こし、93年6月の最初のTop500にはIBMのマシンが一つもなかったことを指摘した。Power 4の卓越性について強調し、Celera社もsequencingの時にはAlphaを使っていたが、proteomics(タンパク質の解析)に移ってからはp690 (Regatta)を12台買ったと述べた。

このたび新しいRegatta p655を発表した。これはPower 4を最大8-wayに組むことができる。ただし、4-wayでは1.3 GHzになるが、8-wayでは1.1 GHzしかでない。one rackに最大128 cpuを収容でき563 GFの性能を出せる。AixでもLinuxでも動く。

IBMはクラスタでもがんばっている。Blade Centerは、高密度パッケージで、2.8 GHzのdual Xeon のブレードを7Uに14枚収容できる。

グリッドについても力を入れている。deep computing, autonomous computing, on-demand computing、これがIBMのグリッドのコンセプトだ。アメリカのTeraGridや、イギリスのeScience Gridを手がけている。

最後にASCI Purpleについて簡単に触れた。これは次世代チップPower 5 (8 GF)を64-wayのSMPに組んだものを単位とし、これを200台ほど接続したものである。このような大規模なSMPではメモリシステムの改良が不可欠であると強調した。Blue Gene/Lについても簡単に触れた。

8) 招待講演「先端計算と科学的発見」エネルギー省科学局長R. Orbach博士
2日目(20日水曜日)の8:30からは全体会議で二つの講演があった。最初がRaymond L. Orbach (Director of the DOE Office of Science) の “High End Computation and Scientific Discovery”である。Dr. Orbachは物理学の専門で、2002年3月に第14代の科学局長に就任した。それまではUC Riversideの学長。科学局の2002会計年度の予算は$3.3B(4000億円)で、高エネルギー物理、核物理、基礎エネルギー科学、磁気核融合、生物・環境科学、計算科学などを支援する。物理科学の43%を支援している。アメリカにおける基礎科学のスポンサーとしては3番目の大きさである。

博士は、超大規模科学計算は実験、理論に並ぶ科学研究の第3の柱であり、そこから新しいコミュニティが生まれる。現代の計算技術の発達は急速であり、コンピュータ・シミュレーションの重要性は実験や理論に匹敵するものとなった。このような施設のすばらしい能力は科学技術への新しい視野を開いた。

科学的発見はしばしば反直観的であり、従来の知恵に反している。たとえば、宇宙の膨張が加速しているという発見がある。われわれはその理論的起源を知らない。アインシュタインは定常宇宙を実現するために宇宙項を導入したが、ハッブルが宇宙膨張を観測したのでそれを無視した。

私の科学者としてのキャリアのなかでもコンピュータは進歩した。私が最初に論文のために使ったIBM701はガチャガチャ動いていたが、現在のMPPはフットボール場サイズの部屋を占拠し小さな町くらいの電力と空調を用いている。

このような計算機の驚くべきスピード、特に横浜の地球シミュレータは、超大規模計算が自然科学、やがては社会科学、人文科学へのアプローチを変えるであろう。かつてはとてもできなかった世界の探求を行うことができる。かつては、あまりに複雑で解析的に説けない物理法則の方程式をコンピュータによって解いていた。いまでは、予測できないシステムの物理法則を発見することができる。数百、数千、数百万のアクターが複雑に相互作用するような物理的あるいは社会的な構造をモデル化することもできる。新しい計算環境のスピードにより、多くの異なるアクター間の、あるいは個人間の関係をテストし、どんなマクロの振る舞いをするかを見ることができる。シミュレーションは、基本的な「力」あるいはアクター間の相互作用の性質を決定することができる。

こうして計算機シミュレーションはそれ自身発見の主要な力となった。この進歩の多くはMPPの発展によって可能になった。今日お話しする科学的なシミュレーションのすべてはこのタイプの計算機で実現したものである。MPP計算機はデスクトップやサーバ市場設計されたシステムを相互結合するという戦略により設計されたものである、ある種の応用には効率的である。しかし、科学局が重要視する多くの問題には非効率である。つまりある問題では実効速度が60%であるが、他の問題では10%にもならない。シミュレーションによる発見のためには、50-100TFの実効性能が必要である。ある種の応用に対しては今日アメリカのコンピュータは2TFを実現するが、他の大多数の応用に対しては10分の1以下なのである。

これに比べて、今年の4月に発表された地球シミュレータでは、計算流体力学に対して12 TFを実現し、地球科学では26 TFを実現した。この違いの結果は気候モデルにおいて顕著である。

気候システムとともに重要なのが、「自己着火と、火炎なしの燃焼の制御」である。自己点火は火炎もスパークもなく熱だけで燃料混合物が着火する過程である。

3つ目は超新星である。超新星を目印に宇宙の大きさと年齢と膨張速度を測定することができる。ビッグバン以来超新星爆発以上のものはない。数秒間の間に1030メガトン/秒以上のエネルギーがニュートリノで放出され、同様のエネルギーの光も放出される。

先端的計算(high-end computation)の市場は科学だけでなく応用にも広がっている。超大規模計算機は商業的な市場も持っている。産業への科学技術の重要性は、何億ドルにもおよぶ大きな機会を提供している。たとえばGM(General Motors)は、自動車の設計開発のために3.5TFにも及ぶ計算能力を自社内に持っている。これにより、クラッシュのシミュレーション、安全モデル、空気力学、熱および燃焼の解析、新材料の研究などを行っている。計算は、プロトタイピングとそのための材料のコストの削減に大きく貢献している。しかし、安全基準が高度化し、燃料効率の増大が求められ、軽く強い素材が必要とされているので、計算能力も30%ないし50%の年率で増大している。これは現存のアーキテクチャや技術では対応できない。もし100TFの計算機ができたら、設計、開発、マーケティングなどに何億ドルもの市場効果をもたらすであろう。

複雑な系をモデル化し、分析し、検証する能力は製品設計にとって決定的な要素である。今日ではHPCに基づく設計開発技術をを活用して、電力システムや航空機エンジンから医療画像技術まで製造している。このような予測モデルで実行したいことの多くは現世代の計算能力では実現不可能である。モデルの忠実性を増大させるにはHPCシステムの性能をかなり増大させなければならない。

製薬、石油やガスの探査、航空機設計などの分野にも多くの可能性がある。50-100TF領域の実効性能のために必要とされる機械の大きさと複雑さを考えると、先端的計算の社会学はたぶん変わらないであろう。超大規模計算の利用は、現在の放射光装置の利用に似たものになるであろう。大きな機械を設置し、多くのユーザグループが共同して利用することになろう。われわれのSciDACプログラムの指導力により、学際的なチームとその協力者は、テラスケールのコンピュータを有効に利用して基礎科学を進歩させるために、必要な最新の数学アルゴリズムとソフトウェアを開発するであろう。このようなチームは、相互に関心のある問題の数学的インフラに応じて集まり、コンピュータのアーキテクチャに合ったソフトを作るであろう。

可視化にも新しいパラダイムが必要になる。このことは、天文学や核融合を考えれば理解できるであろう。われわれの天体物理学のバーチャルワークショップグループ、Julian Borrill, Peter Nugent, John Shalf, Martin White, and Stan Woosleyは、John Hules編集の本の中で、「計算天体物理は、理論と観測との接点を与える本質的な役割を担っている。複雑なシミュレーションによって可能になった詳しい理論的な予言から、新しい観測の大変な解析によって得られる詳しい参照点まで、新千年期の天体物理学の発展は我々が利用できる計算能力によって決まる。」

ドイツ・ポツダムのAlbert-Einstein-InstituteのDr. Ed Seidelは、同じ質量のブラックホールの衝突から生まれる重力波を科学局のNERSC(LBNL)の計算機を総計200万時間(全マシンを13日間使ったことに相当)使って計算した。これは数年後に観測に掛かるかもしれない。(筆者注:2016年に観測された) ブラックホールの衝突は、最初に見つかる重力波のソースと考えられている。この計算により、ブラックホールが予想よりかなり早く合体することが示された。このような計算は、LIGO, GEO, VIRGO, LISAなどの観測装置のデータを分析するために必要不可欠である。

DOEにとって核融合ほど重要なものはない。SciDACの援助のもと2001年に5つのプロジェクトが発足している。これによりUSの融合科学は大きく発展するであろう。このような計算能力は我が国の商業的に利用可能な核融合エネルギーを現実的な時間のうちに実現するという国家目標にとって本質的に重要である。プリンストンのプラズマ物理研究所のWonchull Parkは、プラズマの不安定性をシミュレーションで実証することに成功した。彼は次世代のより高温度のプラズマの生成のために、再結合が重要であることをしめした。ある条件の下で、この現象は他のモードと結合して崩壊に至ることを示した。この過程をよく理解すれば、磁気核融合を実用に一歩近づけることができる。(ビデオを示す)このシミュレーションは実際より高い温度で行われているが、これを現実の状況で行うには100倍の計算パワーが必要である。

これまで示した成果から超大規模計算のもたらす興奮を皆さんに感じていただけたと思う。今回天体物理学と核融合に焦点を当てたが、計算とシミュレーションは科学のすべての分野に発見を促す。DOE科学局は科学の全スペクトルにわたる発見のために必要なアルゴリズムとアーキテクチャを開発している。私は、超大規模計算によって得られる機会が、真にすばらしいものとなることを信じている。

9)「宇宙を計算する:ビッグバンからブラックホールまで」
引き続き、Julian Borrill (Lawrence Berkeley National Laboratory)の”Computing the Cosmos: From Big Bang to Black Holes”という計算宇宙物理に関する招待講演が行われた。宇宙物理のデータ解析とシミュレーションにおいて、もし100 TFが手には入ったら何ができるかを示そう。

宇宙は大きく複雑である。宇宙の歴史を考えると、初期宇宙は場の理論が関係する、10-10秒の世界である。30万年経って温度は3000Kに下がり、中性化した。現在はそれが3Kまで下がっている。その揺らぎは、3Kの中のμKの揺らぎであり、データ解析的にも大変難しい。結局銀河の形成を考えると1050ものダイナミックレンジが必要なのである。その計算量は膨大である。

超新星の爆発と殻の崩壊、ニュートリノの放出は複雑な過程である。また、ブラックホールの連星が重力波を放出して合体する現象は大変面白い。(そのビデオを示した。Orbachも同じようなビデオを見せた)LIGOやLISAなどという重力波の観測が進められているが、観測データを解釈するにもシミュレーションが必要である。

計算機によるシミュレーションは仮想天文台だ。しかしそれにはPeta-scaleの計算が必要である。

天文学においても、実験、理論、計算の結合が重要なのである。

10) 地球シミュレータ
3日目(21日木曜日)のplenaryの招待講演の最初は佐藤哲也氏の”The Earth Simulator”であった。場所、機械、応用、運営などにわたって話されたが、利用時間の25~30%が所長留め置きで国際協力に使うんだ、というあたりで会場が沸いた。

11) HPCの医療への応用
続く招待講演はRon Kikinis, M.D. (Harvard Medical School)の”High Performance Computing for Image Guided Therapy” であり、脳腫瘍の手術などを例にHPCがいかに活躍しているかを述べた。医学用語がたくさん出てきて十分には理解できていない。

12) GRID 2002
Grid Computing – GRID 2002が2002年11月18日、SC2002に隣接してアメリカのBaltimoreで開催された。3回目にあたる。会議録がSprinter社のLecture Notes in Computer Science Vol. 2536として出版されている。第1回のGrid 2000はHiPCに併設してインドのBangaloreで開催された。第2回はSC2001に併設してDenverで開催。

Top500や各種の表彰については次回。

(タイトル画像:  SC2002ロゴ 出典: SC2002ホームページ)

left-arrow 50history-bottom right-arrow