HPCの歩み50年（第99回）－2003年(e)－

前年のISC2002で登場した地球シミュレータをめぐる議論がまだ続いていた。COTS（汎用製品）で作ったMPPは科学者技術者の要求を満たすのか、諸分野で日本に遅れをとってしまうのではないか、日本を打倒するにはどうしたらよいか、熱い議論が行われた。Horst Simonは「汎用技術に『ただ乗り』する時代はすでに終わった」と述べた。

ISC2003

2001年からInternational Supercomputing Conferenceと改名してHeiderbergで開催しているが、今年は6月25日～27日に開催された。参加者は22カ国426人、展示数は30件であった。基調講演はJim Gray (Microsoft)、彼が洋上で行方不明になる3年半前であった。

筆者は参加しなかったが、Christopher Lazouの報告（HPCwire 7月4日号、11日号）が会議の雰囲気をつたえている。以下かいつまんで紹介する。ヨーロッパからの参加者にとってこれは地球シミュレータのインパクトを評価する初めての機会であり、またリーダーシップを取り戻す方策をアメリカの研究者から聞くよいチャンスであった。Gordon Bell（当時Microsoft社）は、「汎用製品によるスーパーコンピュータは行き詰まりだ」（MIT Technology Review、2003年2月号）と警告している。

1) Top500 (2003年6月、第21回)
SCではTop500はBoFであるが、ISCでは開会式の一部である。今回は、地球シミュレータが3度目のトップを占め、ASCI Qが2位に浮上した。20位までは以下の通り。

順位	設置場所	システム	コア数	Rmax	Rpeak
1	海洋技術開発機構	地球シミュレータ	5120	35.86	40.96
2	LANL	ASCI Q	8192	13.88	20.48
3	LLNL	(Xeon, Quadrics)	2304	7.634	11.06
4	NERSC/LBNL	Seaborg	6656	7.304	9.984
4	LLNL	ASCI White	8192	7.304	12.288
6	LLNL	(Xeon, Quadrics)	1920	6.586	9.216
7	航空宇宙技術研究所	PRIMEPOWER HPC2500	2304	5.406	11.98
8	PNNL	(Itanium2, Quadrics)	1540	4.881	6.160
9	PSC	AlphaServer, SC45	3016	4.463	6.032
10	CEA (Fance)	AlphaServer, SC45	2560	3.980	5.120
11	FSL-NOAA	(Xeon, Myrinet2000)	1536	3.337	6.758
12	HPCx (UK)	p690	1280	3.241	6.656
13	NCAR	p690	1216	3.164	6.323
14	NAVOCEANO	p690	1184	3.160	6.1568
15	ECMWF (UK)	p690	960	2.56	4.992
15	同上	同上	同上	同上	同上
17	SNL	ASCI Red	9.632	2.379	3.207
18	ORNL	p690	864	2.310	4.4928
19	LSU	SuperMike	1024	2.207	3.6864
20	NASA/Goddard	AlphaServer, SC45	1392	2.164	2.784

ASCI Qはまだ全体の2/3であるが、結局Compaqがフルの30 Tflopsを納入することはなかった。SMPクラスタはユーザに不評で、システムの起動に8時間かかるなど実用性に乏しく、ASCIとしては最初から引退同然であった。運用は一応2007年まで続いた。3位のLLNLのクラスタは、LinuxNetworX社のもので、前回5位だったのをチューニングしたらしい。ASCI Whiteを凌駕してしまった。4位のSeaborg (NERSC)とASCI White (LLNL)は、いずれもPOWER3 (375 MHz)を用いているが、コア数は前者が6656で後者は8192で23％も違うのに、Rmax（Linpack性能）が共通なのはおかしいが、Top500の発表によるとSeaborgががんばってチューニングしたが、ASCI Whiteはその新しいチューニングしたプログラムをテストする時間がなかったとのことである。より小さいSeaborgのデータを借用したらしい。8位のPNNLのマシンはItanium系マシンの最高位である。Top10では、7台がアメリカ、2台が日本、1台がフランスである。

Rmaxが1 TFlopsを越えるマシン数は59で、前回の47から12も増えている。ピーク性能では何と157台が1 TFlopsを越えている。500番目の性能(Entry level)は245.1 GFlopsで、前回のリストでは285番目に相当する。前回のEntry levelは195.8 Gflopsであった。平均を上回る進展である。

クラスタに分類されるものは149台で、前回の93から大幅に増えている。そのうち23台は自作となっている。東工大の松岡マシンPresto IIIもその一つ。

会社別では、台数ではHewlett-Packardが159（前回137）で最大、僅差でIBMの158台（前回131）。SGIは3位で54台。性能の合計では、IBMが31.8%（前回34.9%）で1位、HPは24.1%（前回22.1%）で2位、日本電気は3位で11.7%である。他のベンダは6%以下である。

アメリカ政府が所有するシステムは500台中98台である。この他13台のマシン（PSCやNCSCやSDSCなど）は、アメリカ連邦政府の資金を使っている。LLNLはトップ6台中の3台を保有している。

日本設置のマシンのうち100位までを挙げる。当時の記録を見ると、現在のTop500のページにある順位と1～2ほどずれている。

順位	設置場所	マシン	コア	Rmax	Rpeak
1	海洋技術開発機構	地球シミュレータ	5120	35.86	40.96
7	航空宇宙技術研究所	PRIMEPOWER HPC2500	2304	5.406	11.98
28	東京大学情報基盤センター	SR8000/MPP	1152	1.7091	2.074
40	大阪大学	SX-5	128	1.192	1.280
58	原子力研究所	AlphaServer SC40	812	1.007	1.352
60	日本電気府中工場	SX-6	128	0.982	1.024
63	高エネルギー加速器研究機構	SR8000-F1	100	0.917	1.200
73	東京大学	SR8000	128	0.873	1.024
85	東北大学金材研	SR8000-G1	64	0.7907	0.9216
86	東工大学術国際情報センター	Presto III	486	0.7888	1.5552
96	筑波大学	VPP5000	80	0.730	1.056

2003年1月に運用開始した東北大学情報シナジーセンターのSX-7（プロセッサ232、Rpeak=2.048）は載っていない。490位に昔のSX-4/128H4 (Rmax=244 GFlops)が出ているだけである。HPCチャレンジには力を入れている。

2) Horst Simon
10年の間ASCIプログラムは、汎用チップを用いて製造したMPPこそが将来のHPCであると主張してきたが、地球シミュレータの登場はアメリカの政策決定者に大きな影響を与えた。これまで反対されながらも、「維持可能な能力をユーザにもたらすためには、高速プロセッサと高メモリバンド幅と低いレイテンシと高速な相互接続網が本質的に重要だ」と主張してきた人々は溜飲を下げた。

NERSC所長のHorst Simonは、2002年前半にはアメリカのHPCの考え方に本質的な変化をもたらすいくつかのイベントがあった、と述べた。「地球シミュレータの登場とすばらしい性能、最近5年間のコンピュータアーキテクチャ研究の停滞、NERSCの実効的性能を与えるベンチマークができなかったこと」などである。アメリカのコンピュータ産業はコマーシャルな応用が支配し、大規模計算を必要とする科学者コミュニティーの要求には焦点を当てていない。コマーシャルなシステムを使えば価格性能比がよいから、科学者は適していないシステムでも我慢して使うべきである、と言われてきた。地球シミュレータの重要性は、単に一つの強力なコンピュータが設置されたということではなく、日本政府が科学計算に投資するという責務にコミットしているということである。「アメリカの科学者はコンピュータの性能において10倍～100倍のハンディキャップを負っている。」とSimonは述べた。皮肉なことに、もしアメリカがSX-6を大量購入すると選択すればこのギャップは埋まることになるが。

地球シミュレータを「専用計算機」と見ることは間違いである。日本の科学政策は、気候、ナノサイエンス、核融合など多くの分野でのシミュレーションでリーダーシップをとることである。気候モデルだけではない。Simonはこう言っている。「科学計算に対してアーキテクチャを最適化するには、科学アプリとコンピュータ設計との間に何世代ものフィードバックがなければならない。日本の地球シミュレータは、そのフィードバックの1サイクルだったのである。」（今で言う「コデザイン」か）

最近のNERSCの調達においてPOWER3とPOWER4を比較し、アメリカの民需主導の最先端システムの弱点を指摘した。ピーク性能では後者の方が4～10倍高かったが、実際のアプリでは2.5倍しか違わず、SSP全体ではPOWER3より悪かった。これはメモリレーテンシが悪く、renaming registersがないためにキャッシュのフラッシュが頻繁に起こり、事態を悪化させている。

NERSCの研究者達は、科学技術計算での高性能と、コマーシャル市場での要求とが乖離しつつあると結論した。コマーシャルなSMPクラスタは、高性能を出すのに不十分である。メモリバンド幅は狭く、相互接続網のレイテンシは大きく、相互接続のバンド幅も不十分で、高性能並列I/Oもない。日本は、将来の科学計算の必要に対処するためベクトル計算を復活させ、ルビコン川を渡ったのだ。

このような認識のもとでIBMと議論した結果、Blue Planetプロジェクトに到った。概念設計の段階であるが、メモリバンド幅を増やし、single coreチップの8-way nodeに専用のキャッシュを置き、スイッチのバンド幅を増やし、レイテンシを減少させる。4ノード（32プロセッサ）を一つのキャビネットに収め、16384プロセッサを接続すると164 TFlopsのピーク性能となる。概念的にはNEC SX-6システムと同等になる。ピーク性能の30～50%の実効性能でアプリを稼動できる。

Simonはこう結論づけた。「アメリカは汎用部品路線を究極まで推し進めた。この道は価格効率がよく、Mooreの法則に『ただ乗り』していればよい。しかし（科学計算と商用計算の）乖離は、この『ただ乗り』が終わりにきたことを示す。ビジネスでは、先端的科学技術計算におけるアメリカのリーダーシップを保つことができない。科学計算に最適化したアーキテクチャは21世紀の科学の実現のために本質的である。HPCセンターやユーザコミュニティは、ベンダと協力の下、価格効率がよく、科学指向のコンピュータアーキテクチャを創造する戦略を立てるべきである。」

3) Thomas Sterling
Thomas Sterling (CalTech)は、テラスケールで有効な計算を実行するためにはコンピュータアーキテクチャとソフトウェアとの相互依存の重要性を指摘した。「技術の進歩から価格性能比を挙げるには、システムアーキテクチャとソフトウェアとの同時かつ相互依存の革新が必要である。」

アーキテクチャの一つの可能性は、多くの浮動小数ユニットを設置しそれを命令ストリームでコントロールすることである。計算の時間的局所性が高く、データの再利用がかなりあれば、多くのFPUをもち、FPU間のデータパスを短くしたプロセッサを高いクロックで動かすことができるであろう。このようなアーキテクチャはStanford大学で開発されているStreamingアーキテクチャや、Texas大学で開発されているTripsアーキテクチャである。もし時間的局所性が低い場合にはできるだけメモリに近づける必要があり、FPUをDRAMのダイの中に融合させることも考えられる（いわゆるPIM – Processor in Memory）。

Stirlingはこう結論した。「巨大なFPUアレイを、時間的局所性を利用するためにはプロセッサの中に、低い時間的局所性に対応するためにはメモリの中に設置するアーキテクチャが考えられる。このようなハードウェアの資源を制御するには、ハードとソフトの新しい関係が必要である。とくに実行時のソフトが重要な役割を演じる。処理要素が何百万にもなり、TFlopsの性能領域を越えてPFlopsスケールにまで行けば、ハードウェアのアーキテクチャとソフトウェアとの革新的な関係が生まれ、計算の概念を変更するであろう。」筆者は聞いていたわけではないが、この通りならHTMTと同様夢物語に終わるのではないか。

4) 佐藤哲也
地球シミュレータの重要性は、一つの強力のマシンが設置されたということではなく、日本が科学コミュニティの要求を汲んで、サイエンス指向のコンピュータに投資したということである。地球シミュレータは気候のための専用コンピュータではなく、多くの分野のシミュレーションに参入するという科学政策なのである。

佐藤哲也センター長は、1997年の計画開始から、2002年2月の完成までの歴史を短く総括した。地球シミュレータの物理的な特徴も、採用されたエレクトロニックス技術も見事というほかない。2 cm角のチップで8 GFlopsのプロセッサを作り、それを5120台接続した。接続する電気ケーブルの総延長は3000 Kmにも及ぶ。完成から16ヶ月の間に6000人が見学に訪れた。そのうち550人は海外からである。海外からのメディアの取材も非常に多い。

種々の分野の優れた科学者からなる委員会が、優先すべき分野を定め、コンピュータ資源を割り付け、中長期的な計画を定め、課題申請の選定の指針を与える。35%は気候科学に、20%は固体地球に、10%はコンピュータ科学に、15%はその他の分野の先進的プロジェクトに、残りの20%はセンター長が保留し国際交流などのために使う。最初の課題選定は2002年6月になされた。世界中と国際共同研究を行っている。イギリスのthe Hadley Climate Centre、イタリアのCIRA、アメリカのCRIPPS海洋研究所、カナダの気象庁、フランスのCNRS/IRREMERなどである。アメリカのNERSCやドイツのDKRZなどとの交渉も進行中である。地球シミュレータはほぼ100%利用され、平均効率（Flopsのピーク比）は35%である。

主要な応用の一つが高精度大気計算(AGCM)である。全球10 Kmメッシュで計算が実行され、台風／ハリケーン／サイクロンとかEl Nino/La Nina現象などを完璧にシミュレーションできる。同じモデルは温暖化にも使える。これにより従来の30 Kmとか100 Kmとかの精度では解明できなかった現象を取り扱うことができる。

年間の湿度と降水量に関するに関する計算では、サイクロンの生成の初期段階の詳細を予測することができた。このためには全システムの半分（320ノード）を使って7日間を要した。実行演算速度は14.5 TFlopsで、これはピークの72.5%に当たる。

日本は地震国で、地震も地球シミュレータの重要なテーマである。50年以上前、東京地方を大きな地震が襲い、大損害を与えた（1923年9月1日の関東大震災？）。この地震波は東京の方に一方向に伝播し、日本南部は助かったが、シミュレーションによりその詳細が解明された。

他のテーマとしては、カーボンナノチューブ(CNT)やフラーレンの熱伝導の力学がある。100 nmの材料の熱伝導を計算し、CNTのダイヤモンドを越える材料の探索が行われた。CNTは1000度から4000度まで非常に安定であることが分かった。

佐藤センター長はこう結論した。「地球シミュレータは、相互作用しながら発展する系全体を、微視的にも巨視的にも取り扱うことができる。これを私は“holistic simulation”と呼ぶ。これは実験や観測より大きな力を持つ。Holistic simulationにより、従来の科学では取り扱うことが困難であった非平衡、非線形、かつオープンなシステムを扱うことが可能になる。」

5) Dr. Warren Washington
地球システムについては、NCARのthe Cllimate Change Research Section所長であるDr. Warren Washingtonも講演し、IPCCシミュレーションにおけるCCSM (the Community Climae System Model)について詳しく述べた。

氏は温室効果ガス、硫化エアロゾル、成層圏オゾン、バイオマスの燃焼、炭素エアロゾル、植生変化、火山噴火、エネルギー利用政策などについてのシミュレーションについて報告し、El Ninoの観測といかに合うかを比較し、より多くの特徴をモデルに包括する計画について述べた。例えば、長波長放射と雲、前兆となる雲水形成、対流降水、垂直分解能の改善などである。今後5年間は、気候変動評価ワーキンググループは、CCSMを使って気候変動の不確定性を定量的に評価しようとしている。これは次のIPCCにとって重要な課題である。

6) Prof. Ulrich Cubasch
ヨーロッパからも発表があった。Berlin自由大学の気象研究所のProf. Ulrich Cubaschは、IPCCを支援する気候変動に関するヨーロッパの活動について述べた。

“business as usual scenario” (1992)では、2050年までに洪水の頻繁化や雪不足をもたらし、北極の氷が消滅し、氷河が溶け、海水面が上昇し、輻射が増大し、大気は不安定になると予想される。IPCCの新しいシナリオが必要とされている。例えば、

(1) 急速な経済成長と、新しい効率的な技術の急速な導入の世界
(2) 家族の価値と各地域の伝統を尊重する異質な世界
(3) 非物質化とクリーンな技術の世界
(4) 経済的および環境的維持可能性への地域ごとの解決を優先する世界

このようなシナリオは多くの努力と計算が必要であり、G7の各国でも一つか二つの課題しか始められないであろう。必要な計算は、簡単にPFlopsを越えるであろう。

ヨーロッパには少なくとも4つの海洋モデルと3つの大気モデルがある。このような多様性は科学にとって強みであるが、インフラには負担になる。効率のためにはいくつかのモデルを統一するひつようがある。ヨーロッパは地球システム研究の最先端であり続けるためには、科学的多様性を保ちつつ効率よく計算ができるようなソフトウェアの枠組みが必要である。

ヨーロッパ諸国は必ずしも同一のアジェンダを持っているわけではなく、特定の中心を持つことを望まない。従って、ヨーロッパでは「巨大なセンター一つですべてをまかなう」ようなやり方を好まない。

教授はこう結論した。「モデルとモデル作成者と国家的COEの観点から、ヨーロッパは地球システムモデリングへの期待できる道を歩んでいる。ヨーロッパは、科学的多様性を保持しつつ効率を改善し、共通のヨーロッパ地球システムモデリングインフラストラクチャを構築する計画である。これはPRISMプロジェクト（DEC社のか？）の援助のもとに行われる。不足しているのは、意欲あるヨーロッパのコンピュータ産業である。」

次は、11月にPhoenixで開催されたSC2003。地球シミュレータの余韻が残る中、ペタフロップスへの展望が語られた。

(タイトル画像:  現在のISCロゴ　出典:ISCホームページ)