8月 4, 2025

新HPCの歩み（第244回）－2006年(j)－

小柳義夫 (高度情報科学技術研究機構)

今年のISCは聖母教会の修復成ったドレスデンで開催された。研究展示と企業展示を合わせて76件の展示があった。Tom Sterlingはこれまでの1年をマルチコアと異機種混合計算の年であったと総括した。Top500で、東京工業大学のTSUBAMEが地球シミュレータを抜いて日本のトップとなった。

ISC2006

1) はじめに
2001年から昨年までハイデルベルクで開かれていたISC (International Supercomputer Conference) は、2006年6月27日から30日まで旧東ドイツのドレスデンの国際会議場(International Congress Center of Dresden)で開かれた。12月にHans Meuer氏から招待講演を頼まれたので家内同伴で出席した。Horst Simonの研究室で去年の10月にセミナーをやったので、おそらくかれの推薦であろう。

1945年2月の爆撃直後(上)と、現在(下)のドレスデン中心部。右端はオペラハウスのSemperoper、中程はZwinger宮殿（博物館になっている）、左は宮廷教会（カトリック）。2005年10月に再建されたFrauenkirche聖母教会（プロテスタント）は宮廷教会の奥。

今年はドレスデンの建都800年にあたる。エルベ川の真珠と呼ばれるドレスデンは、世界遺産にも登録され歴史そのものの街である。1945年2月の大爆撃で完全に破壊されたFrauenkirche（聖母教会）は60年後の昨年再建が完了し、日本のテレビでも紹介された。破壊された破片を全部保管しジズソーパズルのように組み立てたということである。

それでも欠けたところは新しい石で補填したので、外からはモザイクのように見える。招待講演の記念と言うことで腕時計をいただいたが、文字盤の左側に「鼻くそ」のようなものが付いていた。何かと思ったら聖母教会の破片とのことである。29日の晩にはエルベ河のクルーズがあった。

ドレスデンにはドイツのQimonda（キマンダ）社、アメリカAMD社の半導体製造部門が独立したGLOBALFOUNDRIES社などの製造拠点が置かれ、ヨーロッパにおける半導体製造拠点のひとつとなっている。

昨年までのハイデルベルクの古色蒼然とした会議場は、雰囲気はあるが狭く、パラレルセッションもできないし、展示スペースもとれないので、ここに移したとのことである。確かに物価は安い。図はMeuer教授の歓迎スライド。Supercomputerとなっているところに注意。次回ISC2007も2007年6月26日から29日までここドレスデンで開かれる。

今回参加者は915人ということであるが、会場は空席だらけでとてもそれだけの人がいるとは見えなかった。

この会議の委員会には、下記の日本人が協力している。

・Program Committee 　　三浦謙一(NII, NAREGI)、佐藤哲也(ES)
・ISC Award Committee 　関口智嗣(AIST)

2) 全体プログラム
プログラムの大略は以下の通り（一部は事前情報に基づく）。

6月28日(水)午前	Opening Session（座長Hans Meuter）
Welcome Addresses	Georg Milbradt, Minister President, Saxony
27th TOP500	Erich Strohmaier (LBNL)
ISC2006 Keynote: From Transaction Processing to High-Performance Business Computing (HPBC)	Peter Zencke (SAP)
6月28日（水）午前	New & Innovative Applications（座長Frank Baetke）
Trends in HPC for Aerospacey	Nigel Barry
HPC in the Automotive Industry	Bharat Balasubramanian
The Blue Brain Project	Henry Markram
Movies, Animation, Games – New Challenges for HPC	Ed Leonard
6月28日（水）夕方	HPC Retrospect（座長Hans Meuter）
Looking Back over the Last Year in HPC – 2006: a personal perspective	Thomas Sterling
Panel Discussions and BoF Sesssions
6月29日(木)午前I	Reconfigurable Supercomputing
Experiences with High-Level-Programming of FPGAs	Thomas Steinke
Reconfigurable Supercomputing : Hurdles and Chances	Reiner Hartenstein
午前II	Biocomputing / Life Sciences
Computer Simulation of Cancer Growth- Can it Help?	Andreas Deutsch
ISC Award Winning Paper
In Silico Biology for Health and Diseases: New Horizons 2006 – 2015	Samir Brahmachari
午前III	Keynote Presentation Thursday
Trends and Challenges in High Performance Computing: an HP-Labs	Dick Lampman,
The Cluster in our Laptop	Ben Bennet
Awarding of the two ISC Award Winners
6月29日午後	Hot Seat Session Part I & II
6月30日午前I	Hardware Megalomania- Will Application Scalability Hit the Wall?
Calculating Extinction: Large Scale Simulation of a Large Meteorite Impact on Earth	Galen Gisler
午前II	Worldwide Supercomputing : the Asian Attack（座長Horst Simon）
Supercomputing in Japan — Past, Present and Future	Yoshio Oyanagi
The Growing HPC Momentum in China	Steve Chen
午前III	Keynote Presentation Friday（座長Hans Meuter）
The HPC Challenge Benchmark: A Candidate for Replacing Linpack in the Top500	Jack Dongarra
日時が不明
Large scale simulations of turbulent fusion plasmas	Yasuhiro Idomura
Petaflops: The Software Challenge	Pete Beckman
HPC for CAE at Audi: Past present and future	Hans-Ulrik von Bülow
Nano-Science at the Computational Cutting Edge	Thomas Lippert
Petaflops Computing: Opportunities and Challenges for Weather and Climate Prediction	Adrian Simmons

3) 展示
ISCもSCと同様に展示が盛んになってきた。今年は研究展示と企業展示を合わせて76件の展示があった。日本と関係があるのは、NEC、富士通、九州大学であった。

4) 6月27日（火曜日）
この日はチュートリアルが3コースあったが、筆者はこの日の夕方着いたので出ていない。

a) Blades–Basics, Innovations and Usabilit for HPC
b) Fucusing and Introducing New Benchmark Initiatives
c) Software Tools to Support Programming and Optimazation on HPC Systems

折からワールドカップがドイツで行われていた。この日は、ドルトムントとハノーファーで試合があり、Microsoft社はEventwerk Dresdenにおいて19:30から23:00までWorld Cup を見ながらのパーティーを開いていた。筆者はそこには行かなかったが、晩に食事に出たら街中が浮かれていた。

5) 開会式
6月28日（水）には開会式が行われ、Prof. Dr. Hans Meuerが開会の挨拶を行った。参加者は800を越え、国籍は33に及んだ（最終的には915人。展示のみの参加者を含む。本会議への登録は半分であろう。）。去年の647人から大幅に増えた。展示は、2400m²に76のブースが出されている。

Main sponsorsはHPとIntel、sponsorsは、AMD, Bull, Cray, Dell, Fujitsu, IBM, Megaware, Mellanox, Windows CCS2003, Myricom, NEC, ParTec, Platform, Quadrics, SAP, SGI, Sun, Transtec, T Systems とそれぞれのロゴを示した。

Georg Milbradt, Minister President, Saxonyが来賓挨拶を行った。

6) Top500（2006年6月、第27回）
Erich Strohmaier (LBNL)が “Highlights of the 27th TOP500 List” と題して、恒例のトップ500の発表と分析があった。まず世界一のBlueGene/L (LLNL)に賞状が手渡された。続いて、ヨーロッパ一として、”Bull NovaScale 5160 System” (CEA, France)にも賞状が手渡された。全体では5位。Bullなんて忘れていたが、ちゃんと生きていて、exhibitの会場にも堂々とブースを出していた。TSUBAMEについては、

(1)初めて地球シミュレータを超えたシステムが日本に現れたこと
(2)それがUS technologyで作られていること

を強調していた。「アジアの1位」という表彰はなかったと思う。

Top20は以下の通り。性能の単位はTFlops。

順位	前回	設置場所	システム	コア数	Rmax	Rpeak
1	1	LLNL	BlueGene/L	131072	280.6	367.0
2	2	IBM T.J.Watson	BGW	40960	91.29	114.688
3	3	LLNL	ASC Purple (p5 575 1.9 GHz)	12208	75.76	92.781
4	4	NASA Ames	Columbia (Altix 1.5 GHz)	10160	51.87	60.96
5	–	CEA (France)	Tera-10 (Itanium2 1.6 GHz)	8704	42.9	55.7056
6	5	SNL	Thunderbird (PowerEdge 1850 3.6 GHz)	9024	38.3	64.9728
7	–	東京工業大学	TSUBAME (Optern 2C 2.4 GHz)	10368	38.18	49.8688
8	–	FZJ（ドイツ）	JUBL (BlueGene)	16384	37.33	45.875
9	6	SNL	Red Stome (Cray XT3 2.0 GHz)	10880	36.19	43.52
10	7	海洋研究開発機構	地球シミュレータ	5120	35.86	40.96
11	8	Barcelona S.C.	MareNostrum	4800	27.91	42.144
12	9	ASTRON（オランダ）	Stella (BlueGene)	12288	27.45	34.4064
13	10	ORNL	Jaguar (Cray XT3 2.4 GHz)	5200	20.527	24.96
14	11	LLNL	Thunder (Itanium2 1.4 GHz)	4096	19.94	22.938
15tie	12tie	産総研(CBRC)	Blue Protein (BleuGene)	8192	18.2	22.9376
15tie	12tie	EPF Lausanne（スイス）	BlueGene	8192	18.2	22.9376
15tie	–	高エネルギー機構	KEK BG MOMO (BlueGene)	8192	18.2	22.9376
15tie	–	高エネルギー機構	KEK BG Sakura (BlueGene)	8192	18.2	22.9376
15tie	–	IBM Rechester	BlueGEne	8192	18.2	22.9376
20	14	ERDC DSRC	Sapphire (Cray XT3 2.6 GHz)	4096	16.975	21.299

年ごとの変化を見ると、2000年頃トップであったASCI Whiteの性能では、今は500番目である。2009年頃にはDARPAのHPCSが1 PFlopsに達し、2015年頃にはパソコンが1 TFlopsになるであろう。

並列度の最大最小平均を見ると、97年から最小は1から上昇している。昨年からはBlueGeneのため最大は100000を越えている。平均は1000強。今後どう推移するであろうか。

製造会社をシステム数ベースでみると、1位はIBM、2位はHPである。性能ベースでみると、1位はIBMで60％を越えるダントツ、次のHPを大きく上回っている。

大陸別（システム数ベース）で見ると、アメリカがコンスタントに増え、アジアも最近増加しているのに対し、ヨーロッパが減少傾向である。ヨーロッパ内での国別（システム数ベース）では、かつて50を越えていたドイツが急激にシェアを減らしている。1位はフランス。アジア諸国では、日本が93年の110以来減少を続けている。中国の増加が著しい。日本の下降はようやく止まり、わずかに上昇。でも中国がすぐ直下に来ている。

私見であるが、次回の11月の28回では日本のマシンが6～8台落ちてしまうであろうが、それを補うマシンがない。いまで日本のマシンがTop10から消えたことがないが、Top10が一番少なかったのはKEKのSR8000-F1が9位にいただけだった2000年11月であった。その時でもTop500全体では60台以上入っていた。次回もしTSUBAMEがTop10から消えてしまうと、2007年に日本から参入するマシンが見当たらない。やはり国家基幹技術として、性能目標をたてて、開発・調達を計画的に行うASCのような方式が必要であろう。

アーキテクチャをシステム数ベースでみると、MPPが2001年頃300を越えていたのに対し、今回は100まで減少した。クラスターの増加が顕著である。これを性能ベースでみると、若干傾向が違う。クラスタは増加しているが、MPPも最近持ち直している。

プロセッサで見ると（システム数ベース）最大はIntelで、次はPower、AMDが急速に増えている。

相互接続（システム数ベース）では、現在GigEが半分以上で、次がMyrinet、Infinibandも多くはないが増加している。性能ベースで見ると、GigEは1/4程度である。

7) Top500（2006年6月、日本）
100位以内の日本設置のマシンは以下の通り。

順位	前回	設置場所	システム	コア数	Rmax	Rpeak
7	－	東京工業大学	TSUBAME Grid Cluster	10368	38.18	49.8688
10	4	海洋研究開発機構	地球シミュレータ	5120	35.86	40.96
15tie	8 tie	産総研CBRC	Blue Protein – BlueGene	8192	18.2	22.9376
15tie	－	高エネルギー機構	KEK/BG MOMO	8192	18.2	22.9376
15tie	－	高エネルギー機構	KEK/BG Sakura	8192	18.2	22.9376
29tie	15 tie	日本原子力研究所	SGI Altix 3700 Bx2 1.6 GHz	2048	11.814	13.107
34	－	筑波大学	PACS-CS	2560	10.35	14.336
38tie	－	高エネルギー機構	KEK/BG UME	4096	9.433	11.4688
45tie	－	気象庁	SR11000-K1/80	80	9.036	10.752
45tie	－	気象庁	SR11000-K1/80	80	9.036	10.752
49	29	理研	RIKEN Suer Combined Cluster	2048	8.728	12.534
67	41	名古屋大学	PRIMEPOWER HPC2500 (2.08 GHz)	1664	6.86	13.844
77	46	産総研グリッド研究センタ	AIST Super Cluster P-32	2200	6.155	8.8
79tie	－	東北大学流体研	SGI Altrix 3700 Bx2 1.6 GHz	1024	6.00705	6.553
89	55	JAXA	PRIMEPOWER HPC2500 (1.3 GHz)	2304	5.406	11.98
92	－	気象庁	SR11000-J1/50	50	4.993	6.08
97tie	62	ニイウス	BlueGene/L	2048	4.713	5.734

8) 基調講演（Peter Zencke）”From Transaction Processing to High-Performance Business Computing (HPBC)”
この日の基調講演はビジネスにおけるHPCであった。

　SAP AGは2005年の営業では総収入€8.5Bで、33200以上の会社がSAPのビジネスアプリを利用してる。アプリとしては、Analtics, Financials, Human Capital Management, Value Generation, Support, Corporate Services, Solution and Integration Platformなどの領域にわたっている。ホスティングとしては、16000台以上のサーバを制御し、500以上のSAPやお客様のシステムを走らせ、100 TB/日以上のバックアップを行い、メイルは1日当たり2.2M、一秒当たり1200hitsをサポートし、4カ所のデータセンタを運営している。

　企業のコンピューティングには3つの段階がある。第1世代はreal time computingである。第2世代はThe Integrated, Yet Distributed Enterprise である。第3世代は、The Global Enterprise in Value Networks である。スーパーコンピューティングと比較する。

	Supercomputing	Business Computing
計算	complex	trivial
アルゴリズム	challenging	simple
データ処理	low volume	high volume
データ記憶	main memory	database
スケーラビリティ	important	challenging
ユーザ	limited	thousands
記憶	given	critical
場所	local	global

　次世代のビジネスコンピューティングは、3分野で技術革新を行う。

(1) Reach: より多くの人がソリューションと関わる

(2) Integration: より多くのシステムがend-to-end processesで接続される。

(3) Flexibility: ITをビジネスの必要に適用するためのより大きな自由度。

ビジネスは、アプリの進化を引き起こす。Enterprise resource planningからIntra-Enterprise Co-operationへ。そこからCollaborative Businessesへ。そこからVirtual Organizatins (VO)へ。

　第4世代は、Enterprise SOA (Service-oriented Architecture)である。モデルが重要であり、これは

(1) Business processes and their orchestration

(2) Business process components and their eventing

(3) Business objects and their services offering

を含む。

　会社毎の個別のシステムではなく。SaaS (Software as a Service)により、ITが見えなくなる。それは、以下のことによる。

(1) 計算リソース、記憶リソースの可視化

(2) アプリのライフサイクル管理

(3) 柔軟な配備(deployment)に対する選択の可能性

(4) ホスティングと自前設備との切り替えコスト最低

　重要なのはセマンティックな技術である。Tim Berners-Leeは”Weaving the Web”(1999)でこう言っている。「もし、HTMLやウェブですべてのオンラインドキュメントが一つの巨大な本のように見せることが出来れば、RDF、スキーマ言語および推論エンジンは世界中のすべてのデータを一つの巨大なデータベースに変化させるであろう。」

　最後に共通のコンピューティング・インフラに向かうのにどうしたらいいか。科学の世界以外で留意すべきことは、

(1) システム・アーキテクチャは、ビジネスアプリのコンテキストに適合しなくてはならない。

　　– システムは、何千人のユーザにとって、日々の仕事においてmission criticalである。

　　– ネットワーク化されたビジネスでは、相互運用性は必要である。

　　– TCOがビジネスにとって、キーの関心事である。

(2) 技術の失楽園

　　– より少ない費用で、より多く得るというアプローチ

　　– ITの単純化への世界的な動き

　　– ITの標準化は大きなトレンドである。

　　– 中央集中のコンピューティングは時代遅れ

　　– Software as a serviceは一つの選択肢であろう。

　新しいチャレンジとしては、

(1) Real-time concerns

　　– 電気通信システムとの合流性

　　– マルチモーダルなユーザとの相互作用

　　– 実世界の自覚に対するSmart Items

(2) データの量、新しい検索とデータのパターン

　　– SOAソリューションによるサービスの提供には応答時間が保証されなければならない。

　　– テラバイトの大量データに対する、より速い分析法

　　– 場所に基づいたデータ照合(location based services)

　　– Streaming data sources (sensors, etc.)

　今後研究すべきことは、

(1) リソース管理

　　– ネットワーク・トポロジーを考慮に入れる

　　– データベースと推論エンジン

　　– 長寿命のリソース

(2) 基本操作

　　– 現在のワークフロー管理システムとの統合

　　– 自動化された配備

　　– ソフトウェアのライフサイクル管理

(3) セキュリティ

　　– 多重化されたセキュリティ・インフラ

　　– 監査、拒否の禁止

　　– 仮想組織(VO)の支援

(4) ディペンダビリティ

　　– デザスタ・リカバリ

　　– 自己修復機能

何となく言いたいことは想像できるが、ちゃんとは理解できなかった。

9) Thomas Sterling“Looking Back over the Last Year in HPC”
恒例になっているTom Sterlingによる最近1年間のHPCの回顧である。

　Tomはこの一年を“Multicore to Petaflops”と総括した。昨年ほどは大きなブレークスルーはなかったが、高密度計算(high density computing)とも言うべき変化の方向が出てきた。高密度計算にはマルチプロセッサ、マルチコアという方向と、異種の機能を持ったヘテロなコンピューティングという方向とがあり、これによりエネルギー消費を下げながら高密度な実装を可能にしている。

　ペタフロップスは1994年から探求が続いているが、今年は大きな転換点を迎えた。同時に、新しいMPIのようなソフトウェアの公開もあった。それらを含めて今年の発展を挙げる。

(1) マルチコア

　1980年代からマイクロプロセッサ技術により強力な単一プロセッサを実現してきた。プロセッサはどんどん複雑になったが、その複雑さに見合う性能向上は実現せず、クロック周波数の向上とともにエネルギー消費も増大した。昨年からdual-core processorが商品となり、性能の向上は複雑な設計によってえられるのではなく、同じチップに上に複数のプロセッサを統合することによって得られるようになった。IBM BlueGene/Lも、Cray XT3も、汎用品のクラスタも同様である。今のところdual-coreが大半であるが急速にquad-coreが実現するであろう。この傾向はMooreの法則とともに何度も繰り返される。

　しかし、マルチコアへのシフトにはチャレンジがある。ある意味でHPCコミュニティは並列処理の経験があるので、一般のビジネス利用よりマルチコアの用意はできている。とはいえ、マルチコアはスーパーコンピューティングにおける並列度を今後10年間に2桁も上昇させるであろう。また、チップ外との通信はI/Oピンのバンド幅に制限され、局所性がますます重要になる。チップ上に多数のコアが搭載されるようになると、コア毎のL1 cacheと（おそらく）共有のL2/l3 cacheへのデータの割り付けはますます複雑になる。大域的な並列性を支援するアーキテクチャ的な支援がないので、何らかのソフトウェアやプログラマ自身の処理が必要となる。

(2) Heterogeneous Computing（異種混合計算）

　今年はHPCの領域で異種計算への関心が高まった。一つにはGPUによる性能向上がある。しかし、異種計算への動きは、「手の届く果物」だけにとどまるものではない。Cray社はSNLのRed Stormに由来するXT3に関する戦略を進めている。将来的にはベクトルプロセッサやFPGAも統合すると思われる。ClearSpeed社は特注のSIMDチップを用いた低消費電力のアレイプロセッサを出荷し、注目を集めている。おそらく最も興味あるのは、待望されていたCellプロセッサであろう。これはIBM,Sony、東芝の協力で開発されたものである。もともとPS3というゲーム機のために開発さえたものであるが、その高性能には注目があつまっている。Cellには9個のコアがあり、1個は汎用コアであり、ペタスケール計画が始まるという噂もある。

　いずれにせよPFlopsはすでに来ている。ここに3週間の情報によれば、日本はMD-Grape専用高並列コンピュータによるPFlopsシステムをすでに実現したとのことである。MDGRAPE-3は、日本のタンパク3000プロジェクトの一部であり、理研は日本電気とIntelとの協力により実現したとのことである。これは、限られた分野に限ればPFlopsはすでにやってきたのだ。

(3) スーパーコンピューティングのためのソフトウェア

　最近1年間はソフトの面では劇的な変化はなかった。しかし、MPI関係で重要な改良が

あった。MPICHをMPI-2標準に準拠して完全に書き換え　MPICH2を公開した。これはInfiniBand、XT3、BlueGene、Intelクラスタなど多くのシステムのMPIソフトのコアとなっている。その特徴としては、以下の点が挙げられる。

(a) 低いレイテンシ：ノード間SMPでMPI ping-pongが340 ns以下

(b) スレッドセーフ

(d) 大規模システムにおける改良されたMPI-I/O

またMicrosoft社からはWindows CCS (Compute Cluster Solution)のMPIが出ている。

　昨年からのHPCの話題をまとめるとこうなる。

　＊IBM BlueGene/Lが性能のトップを支配

　＊マルチコア素子は普遍的で、すべてのスーパーコンピュータはこの並列構造に動きつつある

　＊ヘテロな計算が注目を集めている。GPU、ClearSpeed SIMD、IBM Cellなど。

　＊いくつかのPFlops開発プロジェクトが進んでいる。2010年までに最初のマシンが登場する。

　＊HPCシステムソフトには大きなブレークスルーはなかったが、MPIの改良された実装など重要な改良はなされた。Microsoft社はHPCの世界に参入した。

10) 「アジアからの襲撃」
6月30日、Horst Simonを座長に、“Worldwide Supercomputing : the Asian Attack”というセッションがあった。筆者が“Supercomputing in Japan”という講演を、Steve Chenが“The Growing HPC Momentum in China”という講演を行った。

11) Cray社（BlackWidow）
ISC2006において、Cray社は次世代ベクトルプロセッサについて発表した。これはBlackWidowというコード名で開発してきたもので、2007年後半に発売する予定。重要な点は、これがCray X1Eなどのように独立なシステムとして動くのではなく、Cray XT3クラスのスーパーコンピュータとともにRainierと呼ばれる環境で動作することである。これは共通なI/Oやシステムサービスを提供する。2007年11月Cray XT5ｈノードとして提供される。

また、Steve ScottはCascadeの概念図を示した。3種混合である。図はスライドから。