新HPCの歩み（第165回）－1999年(g)－

招待講演の一種であるが、朝の並行プログラムのない時間に4件のState-of-the-Field talksを配置して、インターネット、データマイニング、計算・ネットワーク融合、性能評価の講演があった。論文発表などと並行する招待講演も6件行われた。Andrew Chienは今後クラスタが広く利用されるようになると予言した。

独創的な組織のためには、多様性、団結、デザイン/計画、管理リスク、製作スピード、展開、配置、評価、情報伝達などについて考慮する必要がある。独創的な研究チームは多様性に富み、以下の三つのDonnaの法則がある。第一の法則は「managementはバランスをとることである。」第二の法則は「多様性のある研究チームは創造力のあるチームである。」第三の法則は「多様性のある研究チームは均一なチームよりもmanageが難しい。」（自分の法則をたくさん定義しているようです）

創造力のあるチームを率いていくためのDonnaの第六の法則は「managerはcomfortableあるいはproductiveのどちらかになることができる。」である。心配、不安材料が少ないと自己満足となり、退屈、無関心な状態となる。適度にあると、創造的な緊張感となり、興奮状態となる。でも、多すぎると恐怖状態となり、闘争が起きてしまう。

適度な団結が必要である。また、団結に関する第四の法則は「要求は誰かがそのために進んで支払うまで要求とはならない。」である。

デザイン/計画に関しては、適度に技術的に意欲的なものが必要である。管理リスクのために、適度な制御、規制が必要である。管理がいきすぎると用心がすぎてしまう。製作のスピードが遅すぎると、完了しないし、速すぎると燃え尽きてしまう。適度な製作スピードが必要である。人の配置に関しても、組織との係わりあいが多すぎず、少なすぎないよう気を配る必要がある。視察が少なすぎるのは警告のサインであり、適度にあると支えとなり、効率的になる。しかし多すぎると資源の無駄であり、人々の意欲をなくしてしまう。

情報が少なすぎると、無知となってしまうし、逆に多すぎると圧倒されてしまう。適度な情報量が重要である。

17日（水）

8:00-9:00

State of the Art of the Internet

Vinton G. Cerf (MCI WorldCom)

9:00-10:00

Distributed Data Mining: Problems and Opportunities

Salvatore J. Stolfo (Columbia University)

18日（水）

8:00-9:00

HPC meets .com: The Convergence of Supercomputing and Super-Internet Architectures

Greg Papadopoulo (Sun Microsystems)

9:00-10:00

Performance: Myth, Hype, and Reality

Daniel A. Reed (UIUC)

　HPCはインターネットコンピューティングのトレンドの恩恵を受けている。また，プラットフォームでは、superinternetはsupercomputingを含んでいる。

　以前はアプリケーションの発展とプロセッサの発達においてフィードバックループが形成されていたが、現在はネットワークのコンテンツとバンド幅に対し同様のループが形成されている。プロセッサはムーアの法則に従っているが、WAN、LANのバンド幅は3-6ヵ月で倍になるギルダーの法則(Gilder’s Law)に従っている。バンド幅は今後急激に広くなる。

　インターネット環境では、既に10000のCPUがつながり、数千万のユーザが同時に使用し、数テラバイトのネットワークディスクというような環境が実現されている。キーとなるのはシステムのスケーリングとマネージメントの複雑さの関係である。

　Superinternetのアーキテクチャにおけるネットワークには、インターネット、フロントエンドネットワーク、マシンルームネットワークがある。インターネットとフロントエンドネットワークの間にルータ、firewallがあり、マシンルームネットワークにはWeb層、アプリケーション層、データベース層がある。

　現在、AOLでは、数万CPU、数千万ユーザ、数テラバイトネットワークディスクといった環境があり、またSETI@HOMEでは同様の環境で計算を行っている。また別の例では蛋白質データベース(http://www.rcsb.org)がある。

　Superinternetプラットフォームはsupercomputerである。Supercomputerは食物連鎖にはいる。全てのものはネットワークサービスとなる。

　性能解析では、性能を測定し、解析し、設定し、最適化する能力が必要となる。また、解析のレベルも複数あり、ハードウェアレベル、システムソフトウェア、実行時システム、ライブラリ、アプリケーションレベルがある。

　HPCに関するなぞ(conundrum)がある。すなわち「巨大なコストを(特にソフトウェアに)かけるのに対し，大きいとはいえないマーケットサイズ。HPCにおいては，我々はいかに大金を得ることができるであろうか？」CDC6600, ILLIACIV, Cray1, Charles Babbageより学ぶことは，時間が解決策であるということである。調子が良くなるためには時間が必要である。

　性能評価に関しては、現在まで性能ツールワークショップにより検討、研究を行ってきた。性能の測定ということについては、ハードウェアカウンタ、オブジェクトコードパッチ、コンパイラ統合などにより、より精密な測定が可能となっている。

　次の未開拓領域では、アプリケーションはダイナミックとなる。資源の要求、利用可能性は時とともに変わり、異機種による実行環境となり、地理的にも分散している環境となる。また、コード、スレッド、プロセス、プロセッサのレベル、SAN,LANのレベル、国内、国際ネットワークのレベルといった、階層的な表示、解析が必要となる。グリッド環境においては、アプリケーション、システム、ネットワークが変わり、振舞の再現性がなくなる。また、マルチ言語、マルチモデルや、実時間制約、共有資源といった、ヘテロなアプリケーションとなる。

　予測、スケジューリング、コンパイルに関して，Aydt, Berman, Chien, Dongarra, Foster, Gannon, Kennedy, Kesselman, Johnsson, Reed, Wolskiなどが参加しているGrADSという組織がある。

　システムの複雑さはどんどん増している。計算グリッド、多くの学問領域に渡るアプリケーション、それらの性能ツールなど。また、適応的最適化など、未解決問題はたくさんある。

　ソフトウェアの問題は非常に大きく、個人個人で解決することはできない。一緒に解決する必要がある。オープンソースによる協力が必要である。オープンソースは、極めて有力なモデルであり、一緒に問題解決をすることができる。このコミュニティを「骨折」させてはいけない．

16日（火）

10:30-11:15

100 Gbps or Bust: Building Wide Area High Performance Networks

Dona Crawford (SNL)

11:15-12:00

Supercomputing on Windows NT Clusters: Experience and Future Directions

Andrew A. Chien (UCSD)

17日（水）

10:30-11:15

Merging Advanced Microscopy with Advanced Computing

Mark Ellisman (UC San Diego)

11:15-12:00

The ABC’s of Large-scale Computing and Visualization: ASCI, Brains, Cardiology, and Combustion

Chris Johnson (U of Utah)

18日（木）

10:30-11:15

Human-competitive Machine Intelligence by Means of Parallel Genetic Programming

John R. Koza (Stanford Medical School)

11:15-12:00

Achieving Petaflops-scale Performance through a Synthesis of Advanced Device Technologies and Adaptive Latency Tolerant Architecture

Thomas Sterling (Caltech and JPL)

　ASCIでは数年後に100 Teraflops級のマシンの導入が予定されており、それらを有効に広域接続することがゴールである。具体的には1 TFlopsあたり1 Gbit/sec、つまり100TFlopwだと100 Gbit/secの相互リンクが必要である。さらに、DOEの研究は核関係など国家機密のものが多いので、それらはプライベートネットワークとし、さらに暗号化する。

　今後超広帯域の並列のデータの転送がスーパーコンピューティングでは重要になる。Parallel FTP, parallel socket library, secure parallel file copy などがあり。そのため、現状ではTeraOpsというテストベッドを研究所内で構築中であり、広帯域ネットワークのどこにボトルネックがあり、どのように除去できるかを研究している。その成果により、スループットは10倍、数十Megabyte/秒に達することができた。今後はそのlocal parallel IP architectureの成果をWANにスケールし、基盤とすることが必要である。物理的なWANのスループットを最大限活用し、かつsecureでなくてはならない。そのようなものを、次世代のASCIのWANアーキテクチャとして提案している。

　この場合、通常のネットワークと並列ネットワークを分離し、かつVirtualなsecurity空間を作り、性能を確保するためauthenticationやencryptionはTCPの端点で直接行う。(リンク単位のPoint-to-pointではなく、end-to-end)。バンド幅のテクノロジとしてはDWDMを用い、既存のcommercial carrierからバンド幅を買い付ける形で実現し、最初の購入は2000年中である。(CarrierはNortelだという話がある。実際、NortelはOC192 x 32で100Gigabitを実現する話をshow floorで行っていた。)問題は,. New Mexicoでキャリア幹線から複数のOC-192のラインを持ってくるところにある。(“The last 100 miles problem”)。

　その他にもGST, USWest, Lucent/Qwest, Telecordia, GTE, Giganet, Pathforward、など が関わっている。

　まず、クラスタの隆盛をもたらした要因として、マイクロプロセッサの劇的な性能向上、MyrinetやGigabit Ethernetに代表されるギガビット級のコモディテイな”killer network”の誕生、およびデスクトップOSの進化とその上での豊富で高機能・高性能なライブラリおよびツール郡の開発をあげた。

　その上で、クラスタを実現するためには、独立したノード計算機を一つに見せ(single system image)、ネットワークの高性能通信を実現する低オーバーヘッドの通信ライブラリ、およびシステム全体のCPU, メモリ、ディスク、ネットワークのバランスを生かすソフトウェアが重要だと述べた。

　次に、彼らのHPVMに関する紹介を行った。HPVMの一番低位のレイヤはFM (Fast Messages)と呼ばれる通信ライブラリであり、これは様々な高性能ネットワークハードウェアに統一された使いやすいインターフェースを与え、かつguarantee of delivery fault tolerance, flow controlなどを実現し、さらにハードウェアのフル性能生かすものである。

　FMの上に、PVM/MPI, put/get, global array, BSPなどの高レベルな通信レイヤが更に実現される。HPVMは1994年から第三世代目の実装になっており、Myrinet, Giganetなどで、ほぼハードウェアの最高性能に近い100Mbyte/secを得ることができ、かつ低レイテンシ(10-30μsec)なため、最高バンド幅の半値を数百バイトで実現する。しかしそれでも、Originと比較するとHPVM NT SuperclusterのFlops/Network roundtrip timeは10倍程度の開きがあるが、SP2と比較すると10倍以上よく、Beowulfに比較すると20倍)これにより、レーテンシハイディングが容易になり、さらにスケールしやすくなる。

　次に、NCSAなどに設置されたさまざまなNT Superclusterの紹介を行った。また、他のNT Clusterの研究例としてSandia’s Kudzu Cluster (10/98)やCornell’s AC3 Velocity Cluster (8/99)を上げ、さらにベンダから多くの商用クラスタがある旨が紹介された。どの場合も10倍以上のコストパフォーマンスの向上が得られた、と報告されている。

　最後に、今後の研究の方向性として、超広帯域WANとクラスタ処理の融合、クラスタを大規模なストレッジサーバとして用いる研究、規模に応じたクラスタ構築手法などを挙げた。