新HPCの歩み（第205回）－2003年(h)－

前年のISC2002で登場した地球シミュレータをめぐる議論がまだ続いていた。COTS（汎用製品）で作ったMPPは科学者技術者の要求を満たすのか、諸分野で日本に遅れをとってしまうのではないか、日本を打倒するにはどうしたらよいか、熱い議論が行われた。Horst Simonは「汎用技術に『ただ乗り』する時代はすでに終わった」と述べた。

順位

前回

設置場所

システム

コア数

Rmax

Rpeak

1

1

海洋技術開発機構

地球シミュレータ

5120

35.86

40.96

2

(2,3)

LANL

ASCI Q

8192

13.88

20.48

3

(5)

LLNL

(Xeon, Quadrics)

2304

7.634

11.06

4tie

(12)

NERSC/LBNL

Seaborg

6656

7.304

9.984

4tie

4

LLNL

ASCI White

8192

7.304

12.288

6

―

LLNL

(Xeon, Quadrics)

1920

6.586

9.216

7

－

航空宇宙技術研究所

PRIMEPOWER HPC2500

2304

5.406

11.98

8

－

PNNL

(Itanium 2, Quadrics)

1540

4.881

6.160

9

6

PSC

AlphaServer, SC45

3016

4.463

6.032

10

7

CEA (Fance)

AlphaServer, SC45

2560

3.980

5.120

11

8

FSL-NOAA

(Xeon, Myrinet2000)

1536

3.337

6.758

12

9

HPCx (UK)

p690

1280

3.241

6.656

13

10

NCAR

p690

1216

3.164

6.323

14

11

NAVOCEANO

p690

1184

3.160

6.1568

15tie

13tie

ECMWF (UK)

p690

960

2.56

4.992

15tie

13tie

同上

同上

同上

同上

同上

17

15

SNL

ASCI Red

9.632

2.379

3.207

18

16

ORNL

p690

864

2.310

4.4928

19

17

LSU

SuperMike

1024

2.207

3.6864

20

18

NASA/Goddard

AlphaServer, SC45

1392

2.164

2.784

順位

設置場所

マシン

コア

Rmax

Rpeak

1

海洋技術開発機構

地球シミュレータ

5120

35.86

40.96

7

航空宇宙技術研究所

PRIMEPOWER HPC2500

2304

5.406

11.98

28

東京大学情報基盤センター

SR8000/MPP

1152

1.7091

2.074

40

大阪大学

SX-5

128

1.192

1.280

58

原子力研究所

AlphaServer SC40

812

1.007

1.352

60

日本電気府中工場

SX-6

128

0.982

1.024

63

高エネルギー加速器研究機構

SR8000-F1

100

0.917

1.200

73

東京大学

SR8000

128

0.873

1.024

85

東北大学金材研

SR8000-G1

64

0.7907

0.9216

86

東工大学術国際情報センター

Presto III

486

0.7888

1.5552

96

筑波大学

VPP5000

80

0.730

1.056

2002年前半にはアメリカのHPCの考え方に本質的な変化をもたらすいくつかのイベントがあった。「地球シミュレータの登場とすばらしい性能、最近5年間のコンピュータアーキテクチャ研究の停滞、NERSCの実効的性能を与えるベンチマークができなかったこと」などである。アメリカのコンピュータ産業はコマーシャルな応用が支配し、大規模計算を必要とする科学者コミュニティーの要求には焦点を当てていない。「コマーシャルなシステムを使えば価格性能比がよいから、科学者は適していないシステムでも我慢して使うべきである」と言われてきた。地球シミュレータの重要性は、単に一つの強力なコンピュータが設置されたということではなく、日本政府が科学計算に投資するという責務にコミットしているということである。「アメリカの科学者はコンピュータの性能において10倍～100倍のハンディキャップを負っている。」とSimonは述べた。皮肉なことに、もしアメリカがSX-6を大量購入すると選択すればこのギャップは埋まることになるが。

　地球シミュレータを「専用計算機」と見ることは間違いである。日本の科学政策は、気候、ナノサイエンス、核融合など多くの分野でのシミュレーションでリーダーシップをとることである。気候モデルだけではない。「科学計算に対してアーキテクチャを最適化するには、科学アプリとコンピュータ設計との間に何世代ものフィードバックがなければならない。日本の地球シミュレータは、そのフィードバックの1サイクルだったのである。」ということを強調したい（今で言う「コデザイン」か）。

　最近のNERSCの調達においてPOWER3とPOWER4を比較し、アメリカの民需主導の最先端システムの弱点を指摘した。ピーク性能では後者の方が4～10倍高かったが、実際のアプリでは2.5倍しか違わず、SSP全体ではPOWER3より悪かった。これはメモリレーテンシが悪く、renaming registersがないためにキャッシュのフラッシュが頻繁に起こり、事態を悪化させているからである。

　NERSCの研究者達は、科学技術計算での高性能と、コマーシャル市場での要求とが乖離しつつあると結論した。コマーシャルなSMPクラスタは、高性能を出すのに不十分である。メモリバンド幅は狭く、相互接続網のレイテンシは大きく、相互接続のバンド幅も不十分で、高性能並列I/Oもない。日本は、将来の科学計算の必要に対処するためベクトル計算を復活させ、ルビコン川を渡ったのだ。

　このような認識のもとでIBMと議論した結果、Blue Planetプロジェクトに到った。概念設計の段階であるが、メモリバンド幅を増やし、single coreチップの8-way nodeに専用のキャッシュを置き、スイッチのバンド幅を増やし、レイテンシを減少させる。4ノード（32プロセッサ）を一つのキャビネットに収め、16384プロセッサを接続すると164 TFlopsのピーク性能となる。概念的にはNEC SX-6システムと同等になる。ピーク性能の30～50%の実効性能でアプリを稼動できる。

　一言でいえば、アメリカは汎用部品路線を究極まで推し進めた。この道は価格効率がよく、Mooreの法則に『ただ乗り』していればよい。しかし（科学計算と商用計算の）乖離は、この『ただ乗り』が終わりにきたことを示す。ビジネスでは、先端的科学技術計算におけるアメリカのリーダーシップを保つことができない。科学計算に最適化したアーキテクチャは21世紀の科学の実現のために本質的である。HPCセンターやユーザコミュニティは、ベンダと協力の下、価格効率がよく、科学指向のコンピュータアーキテクチャを創造する戦略を立てるべきである。

技術の進歩から価格性能比を挙げるには、システムアーキテクチャとソフトウェアとの同時かつ相互依存の革新が必要である。

　アーキテクチャの一つの可能性は、多くの浮動小数ユニットを設置しそれを命令ストリームでコントロールすることである。計算の時間的局所性が高く、データの再利用がかなりあれば、多くのFPUをもち、FPU間のデータパスを短くしたプロセッサを高いクロックで動かすことができるであろう。このようなアーキテクチャはStanford大学で開発されているStreamingアーキテクチャや、Texas大学で開発されているTripsアーキテクチャである。もし時間的局所性が低い場合にはできるだけメモリに近づける必要があり、FPUをDRAMのダイの中に融合させることも考えられる（いわゆるPIM – Processor in Memory）。

　まとめると、巨大なFPUアレイを、時間的局所性を利用するためにはプロセッサの中に、低い時間的局所性に対応するためにはメモリの中に設置するアーキテクチャが考えられる。このようなハードウェアの資源を制御するには、ハードとソフトの新しい関係が必要である。とくに実行時のソフトが重要な役割を演じる。処理要素が何百万にもなり、TFlopsの性能領域を越えてPFlopsスケールにまで行けば、ハードウェアのアーキテクチャとソフトウェアとの革新的な関係が生まれ、計算の概念を変更するであろう。」

地球シミュレータの物理的な特徴も、採用されたエレクトロニックス技術も見事というほかない。2 cm角のチップで8 GFlopsのプロセッサを作り、それを5120台接続した。接続する電気ケーブルの総延長は3000 kmにも及ぶ。完成から16ヶ月の間に6000人が見学に訪れた。そのうち550人は海外からである。海外からのメディアの取材も非常に多い。

　種々の分野の優れた科学者からなる委員会が、優先すべき分野を定め、コンピュータ資源を割り付け、中長期的な計画を定め、課題申請の選定の指針を与える。35%は気候科学に、20%は固体地球に、10%はコンピュータ科学に、15%はその他の分野の先進的プロジェクトに、残りの20%はセンター長が保留し国際交流などのために使う。最初の課題選定は2002年6月になされた。世界中と国際共同研究を行っている。イギリスのthe Hadley Climate Centre、イタリアのCIRA、アメリカのCRIPPS海洋研究所、カナダの気象庁、フランスのCNRS/IRREMERなどである。アメリカのNERSCやドイツのDKRZなどとの交渉も進行中である。地球シミュレータはほぼ100%利用され、平均効率（Flopsのピーク比）は35%である。

　主要な応用の一つが高精度大気計算(AGCM)である。全球10 kmメッシュで計算が実行され、台風／ハリケーン／サイクロンとかEl Nino/La Nina現象などを完璧にシミュレーションできる。同じモデルは温暖化にも使える。これにより従来の30 kmとか100 kmとかの精度では解明できなかった現象を取り扱うことができる。

　年間の湿度と降水量に関するに関する計算では、サイクロンの生成の初期段階の詳細を予測することができた。このためには全システムの半分（320ノード）を使って7日間を要した。実行演算速度は14.5 TFlopsで、これはピークの72.5%に当たる。

　日本は地震国で、地震も地球シミュレータの重要なテーマである。50年以上前、東京地方を大きな地震が襲い、大損害を与えた（1923年9月1日の関東大震災？）。この地震波は震源から東京の方に一方向に伝播し、日本南部は助かったが、シミュレーションによりその詳細が解明された。

　他のテーマとしては、カーボンナノチューブ(CNT)やフラーレンの熱伝導の力学がある。100 nmの材料の熱伝導を計算し、CNTのダイヤモンドを越える材料の探索が行われた。CNTは1000度から4000度まで非常に安定であることが分かった。

　すなわち、地球シミュレータは、相互作用しながら発展する系全体を、微視的にも巨視的にも取り扱うことができる。これを私は“holistic simulation”と呼ぶ。これは実験や観測より大きな力を持つ。Holistic simulationにより、従来の科学では取り扱うことが困難であった非平衡、非線形、かつオープンなシステムを扱うことが可能になる。

　従来のシナリオ”business as usual scenario” (1992)では、2050年までに洪水の頻繁化や雪不足をもたらし、北極の氷が消滅し、氷河が溶け、海水面が上昇し、輻射が増大し、大気は不安定になると予想される。IPCCの新しいシナリオが必要とされている。例えば、

(1) 急速な経済成長と、新しい効率的な技術の急速な導入の世界

(2) 家族の価値と各地域の伝統を尊重する異質な世界

(3) 非物質化とクリーンな技術の世界

(4) 経済的および環境的維持可能性への地域ごとの解決を優先する世界

このようなシナリオは多くの努力と計算が必要であり、G7の各国でも一つか二つの課題しか始められないであろう。必要な計算は、簡単にPFlopsを越えるであろう。

　ヨーロッパには少なくとも4つの海洋モデルと3つの大気モデルがある。このような多様性は科学にとって強みであるが、インフラには負担になる。効率のためにはいくつかのモデルを統一する必要がある。ヨーロッパは地球システム研究の最先端であり続けるためには、科学的多様性を保ちつつ効率よく計算ができるようなソフトウェアの枠組みが必要である。

　ヨーロッパ諸国は必ずしも同一のアジェンダを持っているわけではなく、特定の中心を持つことを望まない。従って、ヨーロッパでは「巨大なセンター一つですべてをまかなう」ようなやり方を好まない。

　モデルとモデル作成者と国家的COEの観点から、ヨーロッパは地球システムモデリングへの期待できる道を歩んでいる。ヨーロッパは、科学的多様性を保持しつつ効率を改善し、共通のヨーロッパ地球システムモデリングインフラストラクチャを構築する計画である。これはPRISMプロジェクト（DEC社のか？）の援助のもとに行われる。不足しているのは、意欲あるヨーロッパのコンピュータ産業である。