新HPCの歩み（第91回）－1989年(c)－

第3回目のGordon Bell賞はCM-2を使用した2件の研究に与えられた。Gordon Bell氏は、1995年までに超並列で1 TFlopsが実現すると予言したが、LINPACKで1 TFlopsを越えたのは1997年である。ニューラルネットワークの普遍性定理が示されたが、これにより中間層は1層でよいという誤解が広まり、深層学習の登場が遅れた。

標準化

1) C言語
1972年にDennis Ritchieらによって開発されたC言語の標準化のために、ANSI (American National Standards Institute)は、1983年X3J11委員会を発足させ、1989年にANSI規格(ANSI X3.159-1989 “Programming Language C”)となった。通称はC89。当初の予定では1986年中にまとめるはずであった。同じ規格は、ISO (International Organization for Standardization)によりISO/IEC 9899:1990として承認された。C90と呼ばれるが、C89と本質的に同一である。

2) Strand
Prologに似た商用ベースの並行論理プログラミング言語Strandが発表された。Ian FosterとStephen Taylorにより設計された。開発はArtificial Intelligence Limitedで行われ、1989年のBritish Computer Society Awardを受賞した。

3) PVM
1989年夏から、ORNL (Oakridge National Laboratory)やUniversity of TennesseeにおいてVaidy Sunderamらにより開発が始められた。研究用の非公開版はできていたが、1991年、PVM v.1がORNLから公開される。PVM (Parallel Virtual Machine)は、ネットワークで接続されたコンピュータ群を、一つの並列計算機として稼動させるための汎用ソフトウェアである。このころ、大学などでは教育用に多数のPCが設置され、これがネットワークで接続されていることが多くなったので、空いている時にこれを並列計算機として使うことが可能になり、「貧者のスーパーコンピュータ」と言われた。

PVMの大きな意義は、ソフトウェア自体もさることながら、マシンに依存しないメッセージパシングインタフェースをde facto standardとして提供したことであり、後のMPIの先駆と見ることも出来る。例えば、IBM SP1 (1993)では、High Speed Switchという独自の相互接続網が用意されており、専用のインタフェースもあったが、PVMもインタフェースとして利用できた。1992年、Cray Research社は開発中のMPPであるT3DのメッセージパシングインタフェースとしてPVMを用いると発表した。

また初期のMPIと違って、次の特徴があった。

a) ヘテロジニアスな環境で使えること、つまり異なる語長やendianでもデータ交換ができ、またOSが違ってもよい。
b) プロセスの起動や停止ができること。

このような性質は後のグリッド・コンピューティングとも関連性が大きい。ただし、これらの機能を実現するためにオーバーヘッドが生じ、速度的に性能は大きくなかった。

PVM v.2は1991年3月にUniversity of Tennesseeから配布され、v.3は1993年3月に発表される。

性能評価

1) Gordon Bell賞
第3回目のGordon Bell賞は本賞2件、Honorable mentionが2件であった。

Peak Performance First Place: Mark Bromley, Harold Hubschman, Alan Edelman, Bob Lordi, Jacek Myczkowski and Alex Vasilevsky, Thinking Machines; Doug McCowan and Irshad Mufti, Mobil Research; “Seismic data processing,” 6 Gflops on a CM-2 (also, 500 Mflops/$1M)

Honorable Mention: Sunil Arvindam, University of Texas, Austin; Vipin Kumar, University of Minnesota; V. Nageshwara Rao, University of Texas, Austin; “Parallel search for VLSI design,” 1,100 speedup on a 1,024 processor CM

Price-Performance First Place: Philip Emeagwali, University of Michigan; “Oil reservoir modeling,” 400 Mflops/$1M on a CM-2

Honorable Mention: Daniel Lopresti, Brown University; William Holmes, IDA Supercomputer Research Center; “DNA sequence matching,” 77k MIPs/$1M

 

アメリカ政府関係の動き

1) NAS
NAS（National Academy of Sciences 全米科学アカデミー）は、1989年に”Information Technology and the Conduct of Research : The User’s View”という90ページの文書を発表した。この中で、新しいシステムを設計する際には、システムの専門家のみならずユーザの要求を考慮すべきと述べている。Codesignの走りともいえるが、日本ではむしろユーザの方が超並列を推進していたので、こんなことを言う必要は少なかった。

2) OSTP（”The Federal High Performance Computing Program”）
またアメリカ大統領府のOSTP (Office of Science and Technology Policy、科学技術政策局)は、9月8日に報告書”The Federal High Performance Computing Program”を発表した。議会に対し、アメリカのコンピュータ技術優位の再確立を目指し、The Federal HPC Programを始めるよう促している。中身としては、

a) HPC Systems（次世代スーパーコンピュータの開発）,
b) Software and Algorithms（先進的なソフトウェアの開発）,
c) Network（全米の研究機関を結んだ高速ネットワークの設置）,
d) Basic Research and Human Resources（コンピュータ研究者の育成）

の4つを上げている。 ”A National Computing Initiative”(1987)に続き、Grand Challenge となる課題を提示している。1991年に始まるHPCC Programの原型が示されている。サマリはこの資料にある。

ヨーロッパの動き

1) GENESIS
ECの主導するESPRITプログラムの一つとして、1989年から1992年までに3年間をかけてGENESISプロジェクトが遂行された。初年度にはアーキテクチャの設計を行うことになったが、この管理請負業者として、SUPRENUMの製造・販売を行っているSUPRENUM GmbHが担当した。目的は、Cray Y-MPまたはCray-2に匹敵する100 GFlops級のスーパーコンピュータを1 MFlops当たり200ドル以下で構築することであった。

GENESIS Version 1は、1024ノードから成る。1ノードにはCPおよびAPとして2個のi860XPを搭載し、これを専用バスで接続する設計であった。計算処理はAPが担当し、ノード間通信はCPが担当する。いくつか（おそらく32個）のノードをクロスバースイッチで結合して一つのクラスタとし、32個のクラスタをさらに相互接続する構造になっていたようである。

2年目以降はGENESISのプロジェクトリーダーを務めていたUlrich Trottenbergが設立したPallas GmbHが契約を引き継いだ。Version 2ではこれにベクトルFPU（BIT(Bipolar Integrated Technology)社のB2110（加算器）とB2120（乗算器））を付加する設計であった。これを100 MHzで動作させれば、ノード当たり400 MFlopsが実現するはずであった。ネットワークのバンド幅はわからないが、Version 1にしろVersion 2にしろ、とても実用アプリケーションが走るようには思われない。

結局、ノードやスイッチのプロトタイプは製作されたが、フルスペックのハードの製造は断念された。1991年には、プロジェクト名がGENESIS/Sに変わり、超並列向きのソフトウェア開発に専念する方針に切り替わった。ソフトウェア中心に変わった際、参加するメンバー企業も変わった。GENESIS/Sに変わってから参加した企業の一つにMeiko Scientific（1985年創業）があり、大原によると、かれらがCS-2を開発する際、GENESIS/Sで得た知見が活用された。特にMeikoのElan-Elite Interconnectの開発には非常に役に立った。Meiko Scientific社は1996年、Alenia Spazi社と合弁でQuadrics Supercomputer World社を設立し、QsNetを開発した。その技術的な目玉はElan bus adaptorとElite switchであった。一時ハイエンドのスーパーコンピュータで使われたQsNetの発端は、GENESISプロジェクトであった。

世界の学界の動き

1) Gordon Bellの予測
1987年にGordon Bell賞を創始したGordon Bellは、1989年に、1995年の並列処理について2つの予測を述べた（J.L. Hennessy and D.A. Patterson, “Computer Architecture: A Quantitative Approach” 4/E）。

最初の予測は、4Kから32Kノードのマルチコンピュータか、数百万のノードのconnection multiprocessorを使うことにより、1995年までに1 TFlopsが実現するという予測である。実際には実現が遅れ、Top500（つまりLINPACK）で1 TFlopsを越えたのは1997年（ASCI Red）で、Gordon Bell賞で1 TFlopsを越えたのは1999年であった。

もう一つの予測は、1995年の4Qに$1M以上のマルチプロセッサの中で、最大級のsustained MFlopsを達成するのは、100以下のデータ流のものが主流であるという予想で、Thinking Machines社のDaniel Hillisに対抗して出されたものである。ここでsustained MFlopsとは1ヶ月の浮動小数演算の総数と定義している。簡単にいうと、多数のthin nodesより、少数のfat nodesの方が実用的だということであろう。厳密ではないが、1995年11月のTop500のTop10のノード数をデータ流と見ると、100以下なのはKEKのVPP500の80とNECのSX-4の32だけであり、1000を越えるものも4件ある。Bellの予想より早く、少数精鋭が廃り、多数精鋭の時代が始まったようである。ただし、この時のTop500全体では100ノード以下のものも多い。

2) 普遍性定理（ニューラルネットワーク）
Dartmouth大学のGeorge Cybenkoは、1989年、中間層が1層あり、sigmoid活性関数を使えば、ニューラルネットワークにより任意の関数が近似できることを証明した。この研究により、ニューラルネットワークが中間層1層で十分であるとの誤解が広まった。そのためもあり、21世紀に入って深層学習が広まるまで、多層の中間層の研究は盛んにならなかった。

3) Columbia University
コロンビア大学の格子ゲージ専用機の3号機が1989年完成した。256ノード、ピーク16 GFlops (32 bit)である。QCDPAXとは異なり、コンパイラは作らなかったようである。後で述べるように1990年にNew Yorkで開かれたSC90のついでに、コロンビア大学を訪れて見せてもらった。

4) ACPMAPS
アメリカの高エネルギー研究所であるFermi国立研究所ではQCDのためにACPMAPSプロジェクトを1987年に始めた。これはMIMDで、ノードは20 MFlopsのWeitek XL-8032チップを持つ。1989年に16ノードのマシンが完成した。その後、1991年に256ノードを製作。改良型（1993年）はノード当たりi860を2個使い、306ノードで50 GFlopsのピーク性能をもつ。

国際会議

1) ISSCC 1989
第36回目となるISSCC 1989(1989 IEEE International Solid-State Circuits Conference)は、1989年2月15日～17日に、New Yorkで開催された。会議録の表紙には“Thirty-second Anniversary”とあるが、1957年にTransistor and Solid State Circuits Conferenceと名乗ってから32年ということであろうか。主催はIEEE Solid-State Circuits Council、IEEE New York Section、University of Pennsylvaniaである。組織委員長はW. Pricer (IBM)、プログラム委員長はH. Mussman (AT&T Bell Labs) であった。H. Nakajima (Sony Corp., Tokyo, Japan) が“The Conception and Evolution of Digital Audio”と題して基調講演を行った。IEEE Xploreに会議録が置かれている。1990年からは開催場所がSan Franciscoに固定されるので、これが東海岸最後の回となった。

2) ACM Computer Science Conference
ACM CSC 1989 (The 1989 ACM 17th Annual Computer Science Conference)が、1989年2月21日～23日、ケンタッキー州Louisvilleにおいて、“Computer Trends in the 1990s”のタイトルで開催された。毎年行われているACMの会議であるが、この年は、プログラム委員であったISRのRaul Mendezの尽力により、「日本のコンピュータ科学研究」のセッションが設けられた。以下の発表が行われた。

Feb. 23rd, Keynote Speaker Session
An Overview of Cmputer Research in Japan: The National Projects	Hideo Aiso, Keio University
Fifth Generation Computer Project: Toward a Unified Computation Sceme of Knowledge Information Processing	Koichi Furukawa, ICOT
Supeercomputing Research in Japan	Raul Mendez, ISR
Feb. 23rd, Theme Session
Research Activities on Parllel Computers in Japan	Toshitsugu Yuba, MITI Electrotechnical Laboratory
Cellular Array Processor and its Operating System	Morio Ikesaka, Fujitsu
The Vectorizing Compiler for the Hitachi S-820 Supercomputer	Shizuo Gotoh, Hitachi
A MIMD Super CAD Computer: Cenju	Nobuhiko Koike, NEC

 

これらの講演はACM Digital Libraryの会議録には収録されていないようである。

3) 大規模国際研究施設に関する国際会議
欧州物理学会主催のConference on International Research Facilitiesの第4回目が、ユーゴスラビア（当時）のZagrebで3月17日～19日に開かれ、日本物理学会からの4人の代表の一人として参加した。筆者は ”Supercomputing in Physics”という講演を行った。格子ゲージ計算のための専用並列計算機の世界的状況について紹介したが、汎用ベクトル計算機と専用並列計算機とどちらが有利かなどの議論があった。しかしスーパーコンピュータは、加速器や望遠鏡やプラズマ実験装置などと比べて規模が一回り小さく、国際協力の議論は盛り上がらなかった。

アエロフロートのモスクワ経由便で行ったが、「乗り継ぎには早く並ばないとチケットを持っていても乗れないことがある。一度乗りそこなうと収容所（市内の乗り継ぎ客用のホテル）に缶詰めになり、便が混んでいると何日も待たされる」と脅かされたので、搭乗口近くのソファで仮眠を取りながら、便を待った。なんでも、党のお偉方がやってくると、優先で先に乗ってしまうのだそうである。無事フランクフルトに着いた。

ユーゴスラビアは1980年のチトーの死を受けて既に不穏な状況であった。フランクフルトに一泊して飛行場に向かうと、ザブレブ行きの乗客だけ別に並ばされ、荷物を隅から隅まで調べられた。また、ザグレブ空港では、当時としては珍しく、入国者の荷物をX線検査していた。銃器の流入を監視していたのであろう。経済が破綻していると聞いていたが、対ドルレートが暴落しているだけで国内経済としては廻っていた。入国時に100ドルを両替したら、100万弱の分厚い現地紙幣（デナーリ）をバサッと渡された。新約聖書のデナリオンがまだ生きていると感激した。ただし、ローマ帝国初期の1デナリオンは単純労働者の日給であった。隣にいた知らないドイツ人の女性（多分同じ飛行機で来た）が “We are millionaires.”と笑っていた。町を歩くと、市場には新鮮な食材が並んでいたし、レストランは（外人からみると）格安の感じであった。何皿か食べてワインをたらふく飲んで、現地通貨で払ったが、最初換算を間違えて「3000円？ちょっと高いな」と思っていたが、よく考えたら600円であった。まさかこの年の11月9日にベルリンの壁が崩壊するとは予想だにしなかった。日本からの参加者4人で、日本物理学会誌44巻10号（1989）に「国際的研究施設に関する（国際）会議」を執筆した。

ユーゴスラビアは初めてのソ連圏で、言葉は全然わからなかった。理解できたのは「ダスヴィジェーニエ（さようなら）」がロシア語の「ダスヴィダーニヤ（多くの言語と同様、「再び見る（会う）まで」）」に対応することくらいであった。ポーランドからの参加者が、「ポーランド語と同じだ」と言っていた。会議の途中に「枝の日曜日」（復活祭の1週間前の日曜日）があったので、カトリックの司教座聖堂のミサに行ったが、式文も聖書朗読も現地語で固有名詞ぐらいしか分からなかった。日本や欧米と同じローマ典礼に属してはいるが、教会音楽は西方典礼と東方典礼の混合のような感じであった。

帰りに、昨年「来ないか」と言われていたローマ大学を訪問した。ザグレブからベオグラード経由でローマに向かったが、ベオグラードで時間があったので、市内まで足を延ばして観光した。正教会の聖堂が面白かった。ローマ空港で、当然非EUの列に並んだが、ユーゴからの移民がたくさんいて、全然進まない。機内でお会いした、イタリアとユーゴを股にかけている日本人のビジネスマンが、「オレ達は、EUの口から入れろ」とか交渉して、どうにか空港外に出た。

ローマ大学ではQCDPAXについて講演した。アンリツが設計した、6個の筐体を6角形に並べた美しい写真（既出）を見せたら、「プロだなあ」と慨嘆していた。QCDPAXは、全体でDRAMを約2 GB、高速のSRAM を約1 GB装備したが、「半導体王国の日本ならではの贅沢だ」といわれた。ローマ大学で製作したAPEを見せてもらった。1988年のところで述べたように、リング結合で、アドレスまで共通のSIMDであった。分散メモリだが、両隣のプロセッサのメモリはアクセスできる。今の言葉でいえば、究極の「ステンシル計算専用機」であった。

筆者にとってイタリアは3回目だがローマは初めてで、復活祭直前のバチカンに詣でたりしてお上りさんを楽しみました。

4) CHEP 1989
第3回目のCHEP 1989 (1989 Computing in High Energy Physics)が、1989年4月10日～14日に英国のOxford大学のNew College（1379年創立）で開催された。CERN Courierの1989年7/8月号に報告がある。ヨーロッパ、アメリカ、日本、ソ連などから260人が参加した。CERNのLEP (Large Electron-Positron Collider)が1988年に完成し、1989年8月から正式運転を始めるところで、LEP実験のデータ解析が大きなチャレンジとして議論された。写真は同会議のポスター（CHEP 2016のページから）。

5) Mannheim Supercomputer Seminar
第4回目のセミナーは、1989年6月8日～10日にMannheim大学で開催された。基調講演はEnrico Clementi, IBMによる“Global Simulation on Vector and Parallel Supercomputers”であった。初めて会議録“Supercomputer‘89: Anwendungen, Architekturen, Trend”がSprinter社からInformatik-Fachberichte book series (INFORMATIK, volume 211)として出版され、12編の論文が掲載されている。内7編はドイツ語である。Cray社のRobert ÜbelmesserがCrayの新しいスーパーコンピュータ（Y-MPか）について、ドイツCDCのWolfgang BezがETA 10について、日立製作所のMichihiro Hirai, Shun Kawabe, Hideo Wada, Shizuo GotoがS-820について、Siemens AGのPeter Wüstenが富士通のVP200EXについて講演している。2001年からはISCとなる。

4) HOT CHIPS 1
計算、通信、ネットワークのための最新の半導体チップについて議論するために、IEEE/CSのThe Technical Committee on Microprocessors and Microcomutingは、1989年、HOT CHIPSというシンポジウムを創設した。これは、アーキテクトやチップデザイナーやユーザが半導体に関する議論を行う場を提供しようとするものである。第1回のHOT CHIPS 1 (1989)は、1989年6月26日～27日にStanford大学のKresge Auditoriumで開催された。基調講演とパネル討論は以下の通り。

“Bumps on the Path to Floating Point Progress”	W. Kahan (UCB)
Panel: Compiler Issues with HOT Chips	Chair: John Mashey, MIPS Computer

 

5) ICS会議
ICS (International Conference on Supercomputing)の第3回目が、ギリシャのクレタ島で、7月5日～9日に開催された。主催はACM SIGARCHである。共同委員長は、George Paul (IBM)、T. Papatheodorou (CTI, Greese)、D. Gannon、E. N. Pudueである。ACMから会議録が発行されている。

6) ICPP 1989
第18回目となるICPP 1989 (the International Conference on Parallel Processing)は、1989年8月に前4回と同じくペンシルバニア州University ParkのThe Pennsylvania State Universityで開催された。会議録はPennsylvania State University Pressから3巻に分けて発行されている。講演題目だけは、Trier大学のdblpに置かれている(Volume 1: Architecture, Volume 2: Software, Volume 3: Algorithms and Applications)。

7) IFIP Congress 1989
第11回目となるIFIP Congress 1989は、1989年8月28日～9月1日にアメリカのSan Franciscoで開催された。会議録はInformation Processing 89, Proceedings of the IFIP 11th World Computer CongressのタイトルでNorth-Holland/IFIPから出版されている。

8) Lattice’89
第7回目となるInternational Symposium on Lattice Field Theory（通称Lattice’89）は、1989年9月18日～21日にイタリアのCapri島で開催された。会議録はNuclear Physics B – Proceedings Supplements 17巻（1990年）として出版されている。筑波大学のグループは”Status of QCDPAX”という報告を行った。筆者は共著者であったが参加していない。スパゲッティの絵を大きく書いたポスターが印象的であった。

9) SC’89
1989年11月13日～19日にRenoで開催されたSC’89については別に記す。

10) PPSC 1989
4回目となるPPSC 1989 （he Fourth SIAM Conference on Parallel Processing for Scientific Computing）は、1989年12月11日～13日にイリノイ州のChicagoで開催された。

11) ParCo89
第3回のParCo (その後International Conference on Parallel Computing)であるParCo89がオランダのLeidenで開催された。この会議は1983年から奇数年にヨーロッパ各地で開催されているが、1987年は開催されなかった。

第2回のSC’89が、ネバダ州Renoで開催され筆者も参加したが、余りの規模に度肝を抜かれた。そのテーマは、いかに日本に追いつき追い越すかということであった。アメリカは国を挙げてHPCを推進しようとしていた。イギリスのInmos社は売却され、期待されていたT9000は夢となる。