HPCの歩み50年（第94回）－2002年(j)－

ロシアの科学アカデミーの講演者は、Hardware + Brain = const. という仮説を提示した。ロシアでは、ハードは遅れているが優秀な頭脳があるからいいということであろう。Intel社はMooreの法則が今後も成立し、集積度の増大とともに周波数が10 GHz、将来的にはTHzになるだろうと述べた。会場近くのC-DACの研究所を訪問し、インドのスーパーコンピュータPARAM Padma（ピーク1 TFlops）を見学した。

HPC Asia 2002（続き）

9) IBMのHPC戦略
18日の最初の基調講演は、Dr. Tilak Agerwala (IBM, Emerging Business担当副社長)の”Architecture for High Performance Computing”であった。「計算科学は、実験、理論に次ぐ第3のモードである。」というおきまりのテーゼで始まったが、ついでに「技術でも、ビジネスでもそうだ」と言うので、何が第1で、何が第2なのか、と考えてしまった。科学の分野では、生命科学を例に挙げ、タンパク質の折れ曲がりをab initio MD (Car-Parrinelloかと思ったが、そうではなく古典MDを経験情報なしにやるということらしい)でやると1 PFの計算機で1年掛かる（水を入れて32000原子と想定）。その他、材料、気候、核融合、天体物理学など。さらにビジネスでは（さすがIBMと感心した）、real time businessをやるためには、configure-to-order (CTO) supply chainが必要で、そのためには2.4 PF必要である。

種々の応用における並列性を、横軸にgranularity、縦軸に並列度をとって分析していた。HPCモデルとして、superscalar model, SMP model, vector model, parallel modelを挙げ、vectorはベクトル化率が高くないとだめだし、SMPは早く飽和するので、多くの場合parallelがいい、と結論。地球シミュレータを意識して、ベクトルは高いしと批判していた。Top500のprogramming modelの変遷は、といって怪しげなグラフを示した。Top500で、ハードウェアは分かるが、programming modelなど分からないはずだ。要するに、SIMD(vector)からMIMDに移行していると言いたいらしい。

次はGridについて。まずグリッドとは何か。彼は”seamless high performance access to distributed computation and data resources”と定義した。まあまあだが、resourceを計算とデータだけに限るのはちょっと狭いのではないか。グリッドは進化している。最初は、Altruistic grid (CPU scavenging)から始まったが、scientific grid, technical grid, commercial grid,そしてWWG (world-wide grid)へと進化したいる。WWGは、virtual organization with dyanmics access to unlimited resourcesである。

問題は、The Challenge of Complexityだ、と。何をいうのかと思ったら最近のIBMの標語であるautonomic computing, autonomics storage のことであった。高エネルギー物理のData Grid にはautonomic storageが必要である。

さてPetaflopsへの道はどうなるか。これには、evolutinary approachとrevolutionary approachとがある。evolutionary approachでは、要するにASCI Purpleの次を考える。20 GFのCPUを64個SMPにくんだもの(1.25TF)をノードとして1000並列にすればいい。もちろん、サイズ、重量、電力(15－20 MW)、冷却などたいへんであるが。revolutioary approachは、embedded microprocessorを用いたBlue Gene/Lがその例である。cellular approachと言ってもよい。

結論として、HPCの未来はエキサイティングだ。

「これまでcellular approach のコンピュータはことごとく失敗してきたではないか」という質問がでた。従来のcelluar とは違うんだとか言っていた。

10) ソフトウェアの品質
18二つ目の基調講演は、Prof. C. V. Ramanoorthy (UC Berkeley名誉教授)の”Quality Concerns in Software Supported Systems”であった。インド出身のソフトウェア工学の大家のようであるが、83枚もスライドを用意して時間がない、という割には無駄話ばかりであまり面白くなかった。

要は、HPCはsoftware intensiveであるが、使いにくい、それをどう改善できるか、ということのようだ。通常、ソフトウェアの品質というと、functionality, reliability, usability, efficiency, maintenance, portabilityなどが挙げられるが、これらはwish list に過ぎない。品質はソフトウェアのライフサイクルを考える必要があり、ダイナミックなものだ。静的に考えただけではだめだ。

11) パラレルセッション
11:30から13:30は昨日と同じ4並列である。最初に招待講演があり、これに4～5件の投稿論文の発表が続く。

(1) Software and Web Applications
(2) Parallel Applications – II
(3) Peer-to-Peer and Grid Computing
(4) Scientific Applications

二番目に出た。招待講演は、Dr. Guru P. Guruswamy (NASA Ames)の”Development and Applications of a Modular Parallel Process for Large Fuid/Structure Problem”であった。これは、流体・構造連成シミュレーションのためのコードHiMAPの話であった。共同開発者の名前に大林君（東北大）も入っていた。

中村君（九州大学、村上さんのグループ）が、投稿論文として”ERIC: A Special-Purpose Processor for ERI Calculations in Quantum Chemistry Applications”の講演を行った。

12) ワークショップ
午後の時間（14:30～19:00）はワークショップということで、やはり４並列に行われた。テーマは

(1) Wireless Networks — Evolution and Trends
(2) Performance of Computational Fluid Dynamics Software on Linux OS: A Case Study
(3) Computatinal Challenge in Bioinformatics
(4) Next Generation Optical Networks

ちょっとのぞいてみたがよく分からなかった。同じ時間に、Poster Sessionも開かれていたが、ポスターが張られていないボード多く、二三の元気のいい若手のところで盛り上がっていたほかは低調であった。

13) C-DAC見学
16時半からBangaloreのC-DACを見せてくれるという話を村上氏が聞きつけてきた。12～3人が参加した。マイクロバスでAirport Roadを空港に向かって走り、空港のあたりで左に曲がってかなり走った。研究所群みたいなところResearch Parkの一角にC-DACがあった。新しい5階建ての建物で、モダンで気が利いている。床は大理石（？）。その4階にPARAM Padmaが鎮座ましましていた。廊下からはガラス張り。

まず、運転室というか管理室のところに通され、管理システムや開発環境について説明とデモがあった。この部屋からはPARAM Padnaが一望で見渡せる。まずデバッガ・プロファイラ。Fortran 90 プログラムと対応しながらいろいろ見ることができる。call graphに始まって、automatic communication bottleneck detectorのようなものもある。だれかが、Riceのデバッガ（Dシステム）に似ていると言っていた。あと、運転のモニターシステム。web式に表示され、ユーザ、プロセス、CPUやメモリの使用率などが表示される。通常のユーザも使えるということを強調していた。Padmaは今のところ所内でしか使えず、ネットワークには接続していないとのこと。

そのあとハードウェアの見学。いろいろ質問がでた。p690はいつ手に入ったのかとか、PARAMNet-IIの延長可能距離とか（50mとのこと）。私がMyrinetやInfinibandがあるのになぜPARAMNetを開発したのかと聞いたら、Myrinetを使ったシステムもあるが、何か問題が起こるといつもアメリカまで聞かないとわからない、それなら自前のコネクションの方がいい、とのことだった。もしかしたら禁輸といった事態に備えているのかも知れない。お茶をいただいて18:30頃ホテルに帰り着いた。

14) ロシアのMathematical Modeling
19の日の最初の基調講演は、Oleg M. Belotserkovskii (Russian Academy of Sciences) の”Mathematical Modeling using Supercomputers: Experiences and Results” であった。Belotserkovskii氏は、アカデミー傘下のInstitute for Computer Aided Designsの所長であり、またRussia-Indian Center for Advanced Computer Researchの総裁でもある。

彼はまず自分の研究所がPARAM8000を買うなどC-DACと関係が深いことを強調した後、その上で動くSpersolver: Software for Solution of “Large” Problem on Supercomputer を紹介した。それを使ったいくつかのシミュレーションを動画で見せた。まずGas Dynamics Toolという粒子法を用いたCFDのプログラムで、市街地でのプロパンガスの爆発、アパートの室内での爆発、砲弾、ロケットなどのシミュレーションを示した。特にアパートの爆発では、実験のシュリーレン写真との対応を示した。その他、油田の地震探査のシミュレーション、医学やbiomechanicsの例などを示した。

結論として、Hardware と Software と頭脳が重要であるが、Hardware + Brain = const. という仮説を提示した。ロシアでは、ハードは遅れているが優秀な頭脳があるからいいということであろうか。

15) インテルの戦略
Intelはスポンサーに名を連ねながら展示は出していなかった。この日二番目の基調講演（全体の最後）で、Dr. Tim MattsonとDr. Herbert Corneliusが、”Grand Challenges in Scientific Computing”という話をした。IntelはParagon以後HPC業界では影が薄くなっていたが、再びこの分野に乗り出すようだ。

始めにMattson氏がハードについて話した。HPCに関するIntelのビジョンは、CFD、ライフサイエンス、そして高エネルギー物理(LHCなど)である。HPCのモデルは、custom chipを使ったベクトルやMPPから、クラスタへと変わり、さらにグリッドに進化しつつある。Mooreの法則によれば2007年には、1 B transisters、10 GHzに達し、ペタフロップスも可能である。シリコンのプロセス技術は、2003年には90nm (リソグラフ)／50nm（ゲート長）になり、2011年には20nm／10nmになる。300mmのウェファーが可能になっている。90nmを使えば52 MbのSRAMができる。将来的にはtera Herzのトランジスタも使える［本当？］。

並列性も、これまではinstruction parallelismが中心であったが、これからはthread parallelismが重要になる。消費電力も減少できる。これからの技術の中心は、ItaniumのEPIC(Explicitly Parallel Instruction Code?)、XeonのHyperthreading、それにNetBurst（Xeonの新しいアーキテクチャ）だ。2004年にはXeonは4 GHzになり、hyperthreadingが活躍する。Itaniumもpost-Madison(コード名Mentec?) では2 GHzを越えるはずだ。

続いて、Cornellius氏が、ソフトウェアについて語った。Intelはsoftware development toolsに力を入れている。KAI (Kuck and Associates, Inc.) からいろいろ導入している。コンパイラにはKAI OpenMP を導入した。KAI Assureというソフトを、Thread Checkという商品に導入した。これはrace conditionなどをチェックできる。またKAI Guide ViewをThread Profilerに導入。また、Vampirをparallel toolとして導入した。

ライブラリにも力を入れている。Math Kernel Libraryとして、線形代数、VML (Vector Math Library)などを開発した。VMLは、ベクトルに対するsin, exp, sqrt, invなどの基本関数を高速に計算するライブラリで、とくにItaniumで有効に働く。クラスタの共通のプラットフォームとしてOSCARがある。これは元々Open Cluster Groupで開発されたもので、これにはDell, IBM, Intel, MSC, NCSA, ORNL, Indiana U.などが参加していた。

世界最大のクラスタはLLNLのXeon 2.4 GHzを2304個使いLINPACKで5.69 TFを達成した。Top500で5位に輝いている。Top500のうち93はクラスタで、そのうち56はIntel architectureに基づいている。結論としてHPCはクラスタを使え、Yes Intel!!

16) Vendor Session
11時半からは、Industrial Track Presentationであった。7社が15分ずつと言うことであったが、みんな超過して終わったのは13時58分。いた人もしびれを切らしてほとんど昼食に出かけてしまった。

a) IBM社
最初は、R. Chandrasekar (eService & Storage, IBM)の”Deep Computing with IBM”であった。名前はインドの有名な天体物理学者を思い出させる。技術のトレンドとして、半導体のサイズが小さくなり、トランジスタの数が増え、クロックが速くなっている。Power 4は、銅配線、SOI (Silicon-on-Insulator)、low-k 誘電体などの技術を採用したチップである。カスパロフの写真を示して、Deep Blueから、Blue Gene/L、Grid computing、そしてeLizaと技術が進んでいる。今後は、autonomic computing (すなわち、self-optimizaing, self-configuration, self-heal, self-protect)が重要な課題である［とIBMの路線を強調］。結論は、”IBM is HPC”

b) Sun Microsystems社
P. Sambath Narayanon (Product Technology Consaltant, Sun Microsystems)は”Higher Performance Computing Storage area networks: HPCSAN”と題してストレージ戦略について語った。ストレージは単なる箱ではなくアーキテクチャが重要である。Sun ONE (open network environment), XML, CTM, HTMLなど。新しいHPCデータモデルを考えると、monolithic boxにはscalabilityがない。従来のSANにはストレージの共有はあっても、データの共用がないのが問題である。SunのHPCSANは、cross-platform connectivity, metadataなどのコンセプトを含む。BoeingやSDSCの例を挙げた。

c) Microsoft社
George Spix (Direct Advanced Systems, Microsoft)は、”Res..d and its Tools, Science in the .NET era”と題してMSの戦略を提示した。彼自身は、最初CDC(72- )続いてSteve Chenの下で働き(83-92)、それからMSに来たようだ。計算科学の例をいろいろ挙げたのち、科学とビジネスのdata miningの違いを述べた。Virtual observatoriesやSloan Digital Sky Serveyなどを例に、web serviceとgridとのシナジーを強調した。

d) Tata ELXSI社
Prabhakar Sinhaが”HPC Practices”と題して話した。我が社は並列処理と科学計算・可視化をサポートするという。並列回路シミュレーションのソフトについて、そのプラットフォームとして、Sun E450/4、SGI Power Challenge/4、にあわせてHitachi SR2201/128を挙げていた。こんなところにもSR2201があるとは知らなかった。その他、バイオや信号処理なども扱う。

e) Cray社
Burton Smith自らが、Cray社の見解ではないがと断りつつ、”Petaflops with PIMs”という話をした。会社の宣伝というより、彼のアイデアの披露。ペタフロップスに達するためには、共有メモリ（大きなスケールではNUMAであろう）、scalable latency toleranceを持つプロセッサ（つまり、vectorかmultithreadedかboth）で、長距離接続は光であろう。では、PIM (Processor-in-Memory)は何かの助けになるか。確かに近くにおけるのでlatencyは小さくなる。しかし共有メモリにするためにはグローバルなバンド幅がなくてはならない。PIM間におけるlocalityが必要である。

局所性を、横軸にtemporal、縦軸にspatialを示して分析。temporal localityを活用するにはキャッシュとかレジスタとかがある。しかし、同期のコストが高くなると言う問題がある。このことはあまり気づかれていない。spatial localityを活用するには、キャッシュラインを長くすればいいが、取ってきたデータが使われない場合には無駄になるし、coherenceを保とうとするとfalse sharingの問題がある。

PIMではultra-light weight (ULW) threadを導入することができる。これはspatial localityは活用できるが、tempral localityは活用できない。thread migrationはどこまで安くできるか。thread contextは32-64Bであろう。遠くのPIMへのenqueueは1命令で可能。Hashed address spaceはどうか。hot bankを防ぐことはできるが、長いメモリキャッシュラインが必要。PIMの中ではいいかもしれない。では、ULW threadsへのコンパイルはどうなるか。LW threadへのコンパイルは、MTAのコンパイラが既にやっている。だからあとはどこまで最適化できるかである。依存性解析、ループ変換、インライン化などの技術が重要になる。スパース行列・ベクトル積を例に詳しく述べた。

結論。PIMは新しいアーキテクチャのopportunitiesだ。この話は、Tom StirlingらとHTMT projectを研究した時の成果である。

f) SGI社
Andrew Wyatt (HPC-HPV Asia Pacific, SGI)が”HPC and SGI”という講演を行った。オーストラリア英語であった。SGIの存在理由は、計算、可視化、ストレージ管理の3つである。計算パワーとしては、NUMAflexを出している。MIPSまたはItanium 2に基づいている。可視化の製品はいろいろ出している。「百聞は一見に如かず」という中国語を示していた。ストレージ管理としてはHSMを出している。SGIの標語は、”Powering the Science ahead!”である。

g) Hewlett Packard社
これに対してHPのJim Kapadiaは”Visualization for HPC”と題して、PCで可視化を実現する方向を示した。可視化の重要性として、こちらは”Seeing is believing”という英語のことわざを引用した。HPはASCI QやPSCなどにHPCを納めているが、スケーラブルな可視化のためにSEPIAというカードを開発している。まだ製品にはなってないようであるが、これが実現するとSGIのlow-endはかなり苦しくなるかもしれない。

17) パネル(2)
最後17時から二回目のパネル討論が行われた。タイトルはHPC研究の産業への意味というようなことらしいが、パネリストもその場で引っ張り出したり、何かまともに準備していない感じである。参加者もまばら。C. H. Mehta が地震による石油探査の意味と困難について述べ、あとPatnaik, Purohit, R. Madanなどがバラバラな意見を述べた。この辺の人は、理論物理（素粒子）出身の人がおおいようだ。何か分からないうちに終わった。

18) 閉会式
18時から閉会式。それぞれ偉い人が挨拶し、その労をたたえ、industrial exhibitの出展会社に花束を贈呈し、とまたもや長々しい儀式。Purohit組織委員長がまとめの挨拶をし、最後に筆者が「次回のHPC Asia 2004を2004年5月ないし6月に日本で行う」と宣言した。”After such a beautiful city, nowhere in the world could be equivalent to it” などとお世辞を言ったらインド人に受けていた。

ベンチャーの創業

1) ClearSpeed Technology社
ClearSpeed Technology Ltdは、SIMDプロセッサを開発するために、イギリスのBristolで2002年に創業された。プロセッサの販売は2005年から。

ベンチャー企業の終焉

1) Compaq Computer社、Hewlett-Packard社に買収される
これについてはアメリカ企業の動きのところで述べた。

次は2003年、日本ではNAREGIプロジェクトが始まるとともに、産総研グリッド研究センターも活動を開始し、アジアのグリッドの要の役割を果たす。3月、GGF7が新宿で開催される。富士通は京大に9 TFlopsのスカラ型スーパーコンピュータを納入する。

(タイトル画像: インドC-DACが開発したPARAM Padmaシステム)