新HPCの歩み（第149回）－1997年(g)－

SC97では500語のアブストラクトで論文募集したが、これは大失敗であった。教育プログラムではプルトニウムを発見したDr. Glenn Seaborgが講演した。日米貿易摩擦が激しくなっていたが、日本の3社（日本電気、富士通、日立）は堂々と企業展示に参加した。今年はなんと Compaq も参加した。

SC 97

1) はじめに
第10回目のSupercomputing国際会議は、正式名称を High Performance Networking and Computing と改め、San Jose Convention Centerで、11月15日から21日まで開かれた。JIPDECの「ペタフロップスマシン技術に関する調査研究II」の136ページ以下の付属資料2に山口喜教による『SC’97参加報告』がある。会議の正式名称にNetworkingが入ったが、SC97のSCinetではDWDM (Dense-Wavelength-Division-Multiplexing)を用い、一対の光ファイバの上に複数のネットワークを乗せた。

参加者総数5436人、内Technical Registrationは1837人、展示数126件であった。日本からTechnicalへの参加者は、100人以上はいたものと思われる。いつものことながら、Las Vegas で開かれる COMDEX (参加者20万人) と日程がかち合ったため、シリコンバレーが空っぽというほどであったが、それにしてはまあまあの参加者数であった。このため飛行機の切符も取りにくく、筆者は overbooking で行きの便に乗り損なった。San Francisco経由の便を予約してあったが、Los Angeles行に変えさせられ、San Francisco乗り換えでSan Joseへ（バスで）行けということになった。LosからSan Joseへ直行できればよかったのだが。

2) プログラム委員会
SC96のところで述べたように、この回ではプログラム委員を委嘱されていた。プログラム委員会(Technical Papers Committee)の共同委員長はGreg Papadopoulos (Sun Microsystems)とMargaret Simmons (National Coordination Office For CIC)であり、筆者はSimmons女史から委員を頼まれた記憶がある。この年は、プログラム委員会が分野別の構成にはなっていなかった。プログラム委員会の委員の1/3は女性であった。ちなみに、これまで10回のSCの組織委員長も3人は女性であった。

USA以外の所属の委員は、筆者のほかヨーロッパから2名、Tony Hey (U of Southanmpton, UK)と Per Stenstrom (Chalmers U of Technology, Sweden)であった。SCプログラム委員会は、発足当初から、アメリカの組織に所属していない研究者も何人か委員に加わっていた。日本からもこれまで三浦謙一、Raul Mendez、David Kahanerなどが何度かプログラム委員会に参加してきたが、最近は途絶えていた。写真は、SC18における「30周年記念展示」のSC1997パネルの前で、その年のプログラム委員会のシャツを着ている筆者。

この頃の問題点は、SCにおける原著講演が重要視されず、投稿論文の数も質も下がっていたことである。そこで、Simmonsは、投稿しやすくするために「500語のabstractで受け付ける」という画期的な提案をした。筆者は、「それでは公平な審査ができない」と反対した。私の反対は押し切られたが、案の定、論文募集が始まってから方針を変更し、abstractだけでもいいが、可能なら6ページ（図や表は別）のextended abstractも投稿することを強く勧める、という中途半端なガイドラインとなった。

Rather than the 500 word abstract plus URL submission format described in the hardcopy call for participation, we will accept and STRONGLY ENCOURAGE the submission of a 500 word abstract through the web submission form plus a six (6) page (typeset) extended abstract in PostScript.  The extended abstract may include additional pages containing references, figures and data.  Instructions for submission of the PostScript materials will be available on the submission form.  The deadline for extended abstracts is still May 16, 1997.

 

残念なことは6月初めのプログラム委員会が、筆者が主催者である日本の数値解析シンポジウムと重なってしまい、出られなかったことである。「テレビ会議でも」と言われたが、あずまや高原ではどうしようもなかった。聞くところによると、やはり500語のabstractだけでは内容がよくわからず、extended abstract付の投稿が主として採択されたとのことである。

日本からは17件の投稿があり、3件採択された。

“Parallel Database Processing on a 100 Node PC Cluster: Cases for Decision Support  Query Processing and Data Mining”（T. Tamura et al., 東大の喜連川グループ）

“A Scalable Mark-Sweep Garbage Collector on Large-Scale Shared-Memory Machines” (T. Endo et al., 東大の米澤グループ)

“Multi-client LAN/WAN Performance Analysis of Ninf: a High-Performance Global Computing System”(A. Takefusa et al., お茶大、東工大、東大)

 

3) 教育プログラム
1992年から教育プログラムK-12（幼稚園から12年生（高校3年生）まで）が続けられて、高校の先生や高校生自身が多数参加している。通常は他のセッションで忙しくてほとんど出席できない。しかし今年は、1951年のノーベル化学賞受賞者シーボーグ博士 (86歳, Dr. Glenn Seaborg) が来るというので見に行った。

Special Address: Science, Education, and Government: Perspectives from Service to Ten Presidents Glenn Seaborg, Lawrence Berkeley National Laboratory Wednesday, November 19 — 10:30am-noon

 

かれは、プルトニウムの発見者としてノーベル賞を受賞し、106番の元素には彼の名前がついている。ひょろ長い老人で、「どういうわけか、写真を取る時にいつも一番後ろに回される。」と笑っていた。彼は、原子力委員会や教育問題などについて10人の大統領の元で働いた。レーガン時代には、”A Nation at Risk” という衝撃的なレポート作成に参加。その思い出を数々の写真を見せながら語った。楽しそうだった。1945年6月11日に、「原爆を日本に落さずに、日本を招いて砂漠で公開実験をすべきだ。」という提案をした (Franck Report)ということであった。氏はほどなく1999年2月25日に亡くなられる。

4) インターネット20周年
昨年はENIAC完成50周年、IEEE Computer Society および ACM の創立50周年ということで、計算機の歴史展示が設けられたが、今年はインターネットの歴史という展示が作られた。10m 余りの年表 (1962-1992) に、関連する写真や機器が展示されていた。20年前、1977年11月22日に、自動車から衛星を通して、大陸間でTCP/IP通信が成功したのだそうである。上に書いたように会議の正式名称にはNetworkingの方が先に出ていることからも分かるように、ネットワークの重要性はますます高まっている。

5) 企業展示
今年の企業展示71件をざっと分類すると、SC/PCのベンダ11、大容量記憶装置11、ネットワーク (機器およびプロバイダ) 12、ソフトウェアやツール17、出版6、その他学会、国際会議、地域、システムインテグレーションなど14であった。記憶装置、ネットワーク、ソフトウェアなどの展示が増えている。ただ、昨年と比べてエネルギーが少し減少したという印象があった。

(a) 日本企業
　NCAR でのダンピング告訴問題など日米貿易摩擦が激しくなっていたが、日本の3社（日本電気、富士通、日立）は堂々と参加し、スーパーコンピュータを宣伝していた。日本電気はSGI/Cray の隣の場所を取り、自慢の高精度ディスプレー (バーチャル水槽) をSGIに向けて、「グラフィックで勝負しよう」と挑んでいたのはいい度胸である。日立のブースには、「わが社の将来動向」という、目立たない小さな図があり、「今後 (SR2201のような) RISC parallel の方向で TFlops を目指す」と表明していた。

(b) Sun Microsystems社
　今年元気がよかったのは、Sun Microsystems社である。これまで、デスクトップのワークステーションの会社と思われていたが、Ultra Sparc に基づくSMP (HPC 10000 Server、通称 Starfire) が今年はじめから出荷され、Top 500 の中に続々登場し、なんと台数ベースで4位に急浮上したのである。前述のように東大の筆者の専攻も買った。展示では、ダンサーの動きをカメラで測定し、そのデータでアニメーションをリアルタイムで動かす、いわゆるモーションキャプチャーのデモを行っていた。会期中のプログラム委員会では、さる口の悪いアメリカ人が、Stupid Dancing Girl of Sun とか悪口を言っていた。
　実はこのマシンは、2年前まで、Cray Research が CS 6400 の後継機として開発していたものであるが、Cray が SGI と統合するに当たって、Sun Microsystems社に部門ごと譲渡されたものである。大本をたどれば、FPS Computing社（1988年までFloating Point Systems社）のFPS Model 500シリーズとして開発された。さらにたどると、Celerity Computing社のCelerity 6000である。今（1997年当時）やCelerity社はおろかFPS社の名前を知っている人も少なくなってしまった。SMPとしては64プロセッサまでであるが、これをクラスタとして結合する構想もある。会期中には、4ノード (256プロセッサ) で、LINPACK 100 GFlopsを越したという報告もあった。ゆくゆくは、1024プロセッサの16ノード構成を計画している。

(c) SGI社
　例年話題となる SGI/Cray は、最もいい場所に大きなブースを構えて、相変わらず派手な展示を行っていた。Cray路線では、600 MHzのAlphaを使ったT3E-1200を宣伝していた。SGI路線では cc-NUMA machine の Origin 2000 がよく売れているとのことである。日本にも相当数設置されたと聞く。ただ、このころSGIの株価が低迷し、McCracken会長が辞任するとか、1000人のリストラをするとか、必ずしも明るい話題だけでもないようである。

(d) IBM社
　IBMは、8ノードのDeep Blue でチェス対戦を実行していた。また、今後のPower PC (ASCII Blue Pacific (LLNL)を含めて) の中心技術の一つである銅配線の実物なども展示されていた。POWER3 (PC630と呼ばれる予定であった) のデータでもあると盛り上がったのだが、嵐の前の静けさという感じであった。

(e) Tera Computer社
　Burton SmithのTera Computer CompanyがMTAの筐体（筐体写真は1996年の記事にある）を展示していた。やっと1号機をSDSCに出荷するということである。詳細はアメリカ企業の章で。

(f) Compaq Computer社
今年はなんと Compaq も参加した。PCでは世界で1位のシェアを持つ会社である。だれか曰く、「SCもCOMDEX みたいになっちゃうのかな？」。翌1998年、Compaq社がDigital Equipment Corporationを買収するとは、当時夢想だにしなかった。

(g) Intel社の不参加
　記憶は確かではないが、ASCI RedがTop500のトップを占めたのに、Intel社は前年に引き続き企業展示を出していなかった。1996年のところに書いたように、実はASCI Redが運用開始したとき、Intel社のSupercomputer Divisionはすでに閉鎖されていたとのことである。

(h) ソフトウェア関係
　ソフトウェア関係では、OpenMPがブ―スを出していたそうであるが、記憶にない。

6) 企業レセプション
18日 (火曜日) には、SGI/Cray と Sun Microsystems社 のレセプションが同じホテルの1階2階で (別に) 開かれた。両方を往復している人も何人かいた (筆者も) 。19日 (水曜日) には、IBM のレセプションが開かれた。IBMは、Museum (of American History?) を借り切った。

7) 研究展示・ポスター展示
研究展示60件のうち日本からは電総研（EM-XとNinf）、航技研、RWCP、埼玉大の4件だけであった。何人かのアメリカ人から「地球シミュレータはどうなったんだ」と聞かれた。こういう所に出ていないと、極秘にコソコソやっているように勘ぐられることになる。

ポスター展示は場所が離れていたので、水曜日の夜(6:00-7:30)に飲物と料理付きで展示されたが、盛り上がりに欠けていた。私もほとんど見なかった。来年は改善するとのことである。この時はどうだったか知らないが、その後ポスター発表者と議論や質問をすると飲み物券がもらえるようになった。

8) 開会式 (18日 (火) 8:30～)
お決まりの San Jose 市長の挨拶があった。なんとこれも Susan Hammerという女性。San Jose は北部カリフォルニア最大の都市（San Franciscoより人口が多い）で、アメリカ最大の輸出都市だが、年々交通が渋滞し、根本的な解決が必要である。10年間にダウンタウンの建物を作り直し、ネット化インテリジェント化により、環境を保ちながらソフトのincubatorとしたい、と挨拶。

9) Seymour Cray賞の創設
続いて、1996年10月に亡くなったSeymour Cray の貢献をたたえて新しい賞 “Seymour Cray Award” を設けることは昨年のSC96で発表されていたが、IEEE Computer Societyの会長 Barry W. Johnson (IBM) から公式に発表された。SGI/Crayはこのため、20万ドルを拠金した。この発表を受けて、Irene Qualters (president of Cray Research and senior vice president of SGI) は、Seymour を追悼して、「現在チームワークが重要視されているが、Seymour は個人の力の偉大さを示した。彼は、ユーザの observation を設計に生かすことを重要視した。」と述べた。この賞は、Seymour Cray によって示された創造性を最もよく体現した高性能計算システムに、革新的な貢献をした個人に贈られる。最初の受賞者は翌年発表される予定であったが、実際には1999年。

10) 基調講演
今年のKeynote Addressは、副大統領の Al Gore という噂もあったが、なんと組織委員長の Dona Crawford から Gore の断わり状が朗読された。Washington DC での会の時ならともかく、西海岸まで来る可能性は少ないと思うのだが。実際に基調講演をしたのは地元の未来学者 Paul Saffo (Institute for the Future) であった。題目は、”Is Digital Dead?”。有名な人らしいが、この会議の基調講演としてはあまりふさわしくはなかった。

一つの技術が社会に影響を与えるには時間がかかる。1947年にトランジスタが発明されたとき、現在を誰が予想できただろうか。 　1980年代は、マイクロプロセッサの時代として特徴づけられる。その主要な機能は processing である。1990年代は、レーザー技術の時代である。光通信によってコストが下がり、WWWやニューメディアが可能になった。その主要な機能は Access である。 では、2000年代の主要な技術は何であろうか、それは sensor の時代である。安価で小型のセンサが日常生活に革新をもたらす。その主要な機能は Interaction である。センサはbuilding blockとして使われている。MEM (MicroElectro Mechanics)、Piezo materials, VLSI Video など。 　スキーにピエゾ素子がついて、プロセッサで制御されるようになる。「スキーをリブートしなくちゃ」なんていう時代も来るだろう。ではいつそういう時代が来るか、それは waves of creative destruction というものがある。例えば、内燃機関の例をとると、1.馬不要の乗り物の登場　2.交通渋滞　3.郊外への逃避　4.メガロポリスの形成　という波があった。トランジスタでは、1.真空管不要の電子機器　2.回路結合箇所数の増大　3. IC　4. VLSI　である。同じ様な波がセンサにもある。

 

というようなことであった。筆者なら1990年代をレーザーではなくファイバの時代というであろう。この講演は、筆者には面白くはなかったが、例年になく多くの笑いをとっていた。英語力の不足で、皆と一緒に笑えないのが悲しいところであるが。

11) State-of-the-field talk (Hennessy)
今年初めての試みとして、水曜 (19日) と木曜 (20日)の朝一番のセッション(8:30-10:00)をState-of-the-field talksに当て、John L. Hennessy (Stanford)とKen Kennedy (Rice)が講演した。

HennessyはMIPSアーキテクチャを提唱し、MIPS社の共同創立者である。DASHプロジェクトを推進し、cc-NUMA (cache coherent nonuniform memory access) の元祖でもある。現在Dean (学部長) だとか。”Perspectives on the Architecture of Scalable Multiprocessors: Recent Development and Prospects for the Future” と題して講演し、5～10年以内にベクトルは消滅し、DSM（分散共有メモリ）のクラスタが主流になると予言した。

1970年台に、Cray-1の価格性能比は、VAX と同程度であった。しかし現在では、desk top workstation の方が2倍以上の価格性能比を有している。マイクロプロセッサに基づかないベクトルスーパーコンピュータは、5年ないし10年以内に消滅するであろう。 　1980年代に並列計算機はどう見えたか。まずSIMDが商用機として復活した (CM-2、MasParなど) 。それから、2種類のMIMDが存在していた、一つは共有メモリ (BBN, RP3, Ultra computer, Cedar, Sequentなど) 、もう一つはメッセージパシング (iPSCなど) 。スケーラブルにするにはどうしたらよいか。浮動小数演算を速くするのは簡単だが問題はメモリアクセスだ。これには2種類ある。一つは private memory + message passing であり、スケールさせやすい。こういうアーキテクチャを Gordon Bell は multicomputerと呼んだ。もう一つは single address space である。あえて共有メモリと呼ばないのは、物理的には分散しているかも知れないからである。 (彼は両者がそれほど離れたものではないことを強調した。) どちらのアプローチも、メモリアクセスの局所性と、スケーラブルな相互結合問を必要としている。 　1990年代には次のような変化が起った。 　　a) 分散ディレクトリによるスケーラブルなキャッシュコヒーレンシ 　　b) 相互接続網のバンド幅は500MB/s、レイテンシは 500μsから1μsへ。 　　c) 経済ファクタ：コストの優位性と、市場成長の限界 　　d) 多様なアーキテクチャの収束（マイクロプロセッサ、通信制御、コストにスケールするマシン、アプリケーションの多様性） 　スケーラブルな共有メモリをどう作るか。スケーラブルにするには分散すればよいが、キャッシュコヒーレンシなにしはプログラミングが難しい。バスに基づくsnoopingはスケーラブルではなく、分散ディレクトリが必要である。DASHはこのアイデアで、KSRでも使われた。 　キャッシュコヒーレンシの昔と今。昔は、ソフトウェアによるコヒーレンシはあまりに困難で、キャッシュ無しの共有メモリはあまりにメモリアクセスのコストが高い。今はどうか。問題はレイテンシ隠蔽と耐レイテンシ計算である。キャッシュコヒーレンシはメモリの相互接続網を使うためには必須である。 　並列コンピュータとして、共有メモリマシン、マルチプロセッサ、WSクラスタなどがあるが、ひとつに収束しつつある。違うのは通信制御だけである。通信制御がボトルネックになる。 　バス結合のPentiumが2個搭載されているボードは$500で買えるがスケーラブルでない。スケーラブルなものとしては、汎用のデスクトップのクラスタや、キャッシュコヒーレンシのないT3Eがある。 　性能を決めるのは、バンド幅よりレイテンシである。通信の粒度が問題である。レイテンシは、共有メモリでは0.5-4μs、メモリ・マッピングでは5-10μs、であるが、I/OではOSが入るので10μsを越える。トレードオフとしては、コストの問題、レイテンシかバンド幅かの問題、分散共有メモリか専用の接続網か、PC/WSのクラスタかなどいろいろある。 　プログラミングの問題としては、DSM (Distributed Shared Memory)では、ローカリティが重要であり、努力と性能のバランスが問題になる。 　結論として、信頼性や耐故障性があるDSMか、クラスタかということになり、将来はDSMのクラスタになるであろう。アプリをどうするかが問題である。

 

Hennessyは最新の技術状況が分かっていないとあまり評判がよくなかった。「5～10年後にベクトルは消滅する」と予言したが、5年後地球シミュレータが登場し、世界を驚かせる。

12) State-of-the-field talk (Ken Kennedy)
木曜日はKennedy (Rice University)で、大統領の 諮問会議PITAC の共同議長である。今回は、”Programming Support Software for High Performance Computers”と題して、並列処理を抽象度の高いレベルで記述して、コンパイラで処理するのが今後の方向であると述べた。データ依存のコンパイルなどという概念も出し、中間言語での最適化の重要性を述べた。HPFの敗因にも触れた。

並列処理の問題点は、アーキテクチャの違いに言語が追い付かないことである。マシン独立な並列プログラミング言語がなく、今の並列プログラムはwrite-onceだ（メンテナンスできない）。使いやすいものが市場を席巻しなくてはならない。 　プログラミング言語での成功例がいくつかある。一つ目はコンパイラによるメモリ階層の管理で、ノード内のレジスタ、キャッシュ、ブロック化、プリフェッチなどをコンパイラが管理している。二つ目はコンパイラによる自動並列性抽出で、共有メモリではループ処理ができ、HPFでも半自動である。三つ目はポータビリティの実現で、HPF、MPI、HPC++、OpenMPなどの標準化や、Javaのようなプラットフォームがある。四つ目はライブラリで、通信ライブラリとしては、MPI、PVM、アクティブ・メッセージがあり、数学ライブラリとしては、ScaLAPACK、BLACS、Chaos、PETSc、CMSSL、ARPACK、templatesなど、データ構造ライブラリとしてDAGH、P++、POOMAなど。五つ目は統合ツールで、性能分析ツールやデバッグツールがある。六つ目は並列性能支援技術の発展が挙げられる。 　ではなぜ並列言語がうまくいかないのか。たしかに、MPIやPVMや性能チューニングは例外的に成功したが、MPIを越えるマシン独立なツールはなく、プログラミングモデルも発散し、分散コンピュータの基礎も脆弱である。HPCCにおいて、グランドチャレンジが技術を無視して性能を求めたことが失敗の原因である。ユーザは成熟したソフトを求めるが、HPC市場の規模は小さいのでソフトは成熟しない。ソフトウェア技術は絶望的である。産業界への技術移転は遅く、コンピュータの信頼性は乏しく、ツールはなかなか出て来ず、マシン独立性は無視され、言語抽象化の飛躍が小さい。 　今後登場するペタフロップスのアーキテクチャは、10～100 GFlopsのプロセッサを１～10万結合したものであり、メモリ階層は10、1000万レベルの並列度が必要となる。 　やるべきことは以下の通り。 　a) 性能のボトルネック（I/Oを含む）を攻撃せよ。もっと並列性を。 　b) ポータビリティをサポートせよ 　c) プログラミングの抽象化のレベルを上げよ。並列性の抽象的仕様を定義せよ 　d) コンパイラの設計を考え直せ。例えば、最適化を実行時まで遅らせるとか、実行時情報をコンパイラにフィードバックせよ（これはRiceのD-systemで開発中） 　e) 現在の標準的なプログラミングはあまりにも難解なので、今後の言語はエンドユーザ用と専門家用に分離する。 　f) スクリプトベースのプログラミングシステムを導入せよ。まず、中間言語に落として最適化し、それから個々の違ったマシンに落とす。この考えはJavaとコンセプトが似ている。中間言語としては、局所性とメモリ階層性を表現する必要がある。 　g) データの分類が必要。データと言ってもほとんど不変なもの（昔のFORTRANのDATA文のような）と、毎回変わるデータとを区別する。 　h) 新しいコンパイラのアーキテクチャは、コンパイル時に部分的に評価し、run historyをコンパイラに入力（feedback）するものとなろう。問題はいつ無効化するかである。 　i) ソースの秘匿化、ソースを公開鍵で暗号化して、trusted コンパイラに送る。 　j) 2種のデバッガが必要である。中間言語のデバッガと、中間言語から実行プログラムへのデバッガ。 　コンパイラはこのような新しいチャレンジに直面している。

 

次回はSC97の続き。アーキテクチャやPACIに関するパネルが開かれ、Gordon Bell賞、Sidney Fernbach Awardも発表される。