新HPCの歩み（第137回）－1996年(c)－

富士通はVPP700を発表・出荷し、日立はSR2201を出荷。言語ではHPF 2.0原案が発表される。ASCI Redは10月には208 GFlopsを出し、CP-PACSの背後に迫っていたようだ。SC95でのメタコンピューティング実験I-Wayの成果をもとにGlobus Projectが始まる。NSFの4スーパーコンピュータセンターのリストラが風雲急を告げる。

日本の企業の動き

1) 富士通（VPP700、AP3000、GS8600）
FUJITSU VPP500をCMOS化したVPP300は前年1995年2月に発表されたが、PE数は最大16と小規模にとどまっていたので、いずれ大並列マシンが発表されるのではないかと予想していた。1996年3月、富士通はVPP700シリーズを発表した。VPP300と同様ノード当たりピーク2.2 GFlopsで、最大512PEまで構成でき、その場合のピーク性能は1126 GFlopsであった。VPP700Eはノード当たり2.4 GFlopsである。

1999年11月のTop500に収録されているVPP700は以下の通り。

設置組織	機種	Rmax	Rpeak	初出年月と順位
理化学研究所	VPP700/128E	268.00	307.20	1999年6月26位
ECMWF（イギリス）	VPP700/116	213.00	255.20	1997年11月8位
九州大学	VPP700/56	110.00	123.20	1996年11月9位
Leibniz Rechenzentrum（ドイツ）	VPP700/52	106.00	114.40	1998年6月39位
ECMWF（イギリス）	VPP700/48E	97.5	115.20	1998年11月59位
Meteo France	VPP700/24E	58.00	62.40	1998年6月68位
国立天文台（日本）	VPP700/22	45.9	48.90	1999年6月171位
オングストローム技術組合	VPP700/20E	45.00	48.00	1999年11月286位
通信総合研究所	VPP700/17E	38.50	40.80	1998 年6月136位

 

1996年7月18日、富士通と日本電気は記者会見を行い、各社のスーパーコンピュータの価格を引き下げ、販売台数を増大させる計画であることを発表した。富士通は、今後発表するCMOSスーパーコンピュータの価格を、基本モデルで$500000に設定し、数年前の標準的な価格の1/10とすることにより、1997年3月までに140台のスーパーコンピュータを販売すると想定している。(HPCwire 1996/7/19)

メインフレームでは、1995年5月、従来のM-1000シリーズの後継としてFujitsu GS8400およびGS8200が発表されたが、1996年1月には、最上位のFujitsu GS8600モデルグループが発表された。

	富士通AP3000 出展：一般社団法人 情報処理学会Webサイト「コンピュータ博物館」

スカラプロセッサを用いた超並列機としては、1996年3月7日にFUJITSU AP3000を発表した。写真は情報処理学会コンピュータ博物館から。プロセッサとしては64ビットSPARCアーキテクチャのUltraSPARC IIを使用し、ノード当たり1または2個のCPU (SMP)で、最大1024までのノードで構成できる。相互接続ネットワークはAdvanced Parallel System Network (AP-Net)という2次元Torus Networkである。高エネルギー物理学研究所はKEKB加速器のため、AP3000（28 CPU）を7台発注した。

富士通並列処理センターは1996年11月12日～13日に富士通川崎工場で「第6回研究交流会(PCW’96)」を開催し、Prof. John Darlington (Imperial College, London)とProf. Robin Stanton (ANU)が基調講演を、喜連川優（東大）と筆者（”Future Trend of Parallel Computing in Computational Sciences”）が招待講演を行った。

ワークステーションとしては、前年発表したFUJITSU S-7/300Uの強化モデルとして、1996年11月、FUJITSU S-7/300 model 140/160が発表された。CPUは、富士通とHAL Computer Systems社が共同開発した64ビットのSPARC64を搭載している。この年、SPARC64 IIをマルチチップで開発した。

2) 日本電気（SX-4B、VR5000）
日本電気は、メモリを増強したSX-4Bを発表した。従来のSX-4はシングルノード（32 CPUまで）で8 GBであったが、SX-4BではSDRAMを用いて32 MBのメモリを搭載できる。

上記の富士通との共同記者会見で、日本電気は今年67件のスーパーコンピュータの販売を予定していると述べた。昨年は61件であった。

NCARでの調達に関する一件は日米スーパーコンピュータ摩擦の章に書く。

CPUチップとしては、MIPS RISC R5000のNEC版であるVR5000を発売した。

並列処理センターでは、1996年10月、Netlib(www.netlib.org)にあるプログラム LACS, LAPACK, SCALAPACK を Cenju-3 OS 用に移植したものを並列処理センターに登録した。

メインフレームでは、1996年3月、PX7900が発売された。

3) 日立製作所（SR2201、メインフレーム）
日立は、1995年7月21日に最大300 GFlopsのSR2201を発表していたが、1996年2月に東京大学大型計算機センターにSR2201 (1024 PU)を設置し、5月から正式運用した。

ベルギーのBrusselsで1996年4月15日～19日に開催されたHPCN 1996において、Kiyosgi Otani（Kiyoshi Otaniの誤記か？）はSR2201のLinpackの暫定値を公表した。性能の単位はGFlopsである。（Uwe Harmsからの情報。Proceedingsにはない。）

プロセッサ数	Linpack性能	行列サイズ	ピーク性能	Linpack効率
1	0.23	4320	0.3	76 %
4	0.9	8640	1.2	75 %
16	3.6	17280	4.8	75 %
64	14.1	34560	19.2	73 %
256	55.3	69120	76.8	72 %
1024	220.0	138420	307.2	72 %

 

256プロセッサでのLinpack効率72%は、同じプロセッサ数のT3Dの66.6%やSP2の65%より大きい。また1024プロセッサでは、T3Dは66%である。

日立は1996年、アメリカのメインフレーム市場において、IBMに次ぐ2位の地位を占めた。1995年はIBMが80%、Amdahlが12%、日立が7%であったが、1996年にはIBMが73%、日立が20%、Amdahlが7%であった（HPCwire 1997/7/11）。たとえば、日立系のViON社は、1996年8月には、アメリカの社会保障番号(SSN)管理用のシステム購入計画MAP 2000 (Mainframe Acquisition Project Year 2000)を受注している。

4) NTT・ヒューコム (Fibre Channel)
Fibre Channelの規格がANSIによって承認されたのは1994年であるが、NTT（日本電信電話株式会社）は、米国のAncor Communication社と、その日本総代理店(株)ヒューコムとFibre Channelの実装仕様の共同開発を行うことで合意したと1996年9月18日公表した。この少し前の8月9日、Ancor社は、ヒューコム社がFibre Channelにより神戸大学のキャンパス基幹ネットワークを約5000万円で設置すると発表した。NTTと日本SGIが協力する。神戸大学がFibre Channelを選んだ理由として、ATMより高速、高信頼で低価格であることを挙げている。

5) 任天堂
任天堂は1996年6月23日、NINTENDO64を発売した。スーパーファミコンの後継機である。CPUにはMIPS 64 bit RISC R4300カスタム 93 MHzを使用。メディアコプロセッサはReality Co-Processor (RCP) 62.5 MHz。メモリはRAMBUS DRAM（標準4.5 MB、メモリ拡張パック増設により9 MB）。

標準化

1) HPF
HPF　Forumは精力的に作業を進めた。日本からの出席者はほとんどなく、三浦謙一（富士通アメリカ）や妹尾義樹（日本電気、Rice大学滞在中）が出席しているだけである。私の資料では、1996年には、January 9-12 Houston, Texas、March 13-15 Arlington, Texas、May 1-3, Arlington, Texas、July 10-12, Burlingame, Californiaの記録がある。10月20日、HPF 2.0原案が発表された。

HPF 1.0からの拡張としては、

　a) データ分散の新しい様式：INDIRECT mapping, SHADOW regions, REALIGM, REDISTRIBUTE
　b) 新しい並列制御：ON clause, TASK_REGION directive
　c) 非同期I/O

など。実装はなかなかむつかしいようである。

HPFの問題点として、研究者主導でなんでもかんでも取り入れすぎて仕様が膨大になりすぎたこと、データ並列だけを掲げてタスク並列を導入しなかったこと、Fortran 90のよい処理系の開発が遅れたこと、技巧を駆使した実用Fortranプログラムに対応できなかったことなどが上げられる。

HPFの実際の有効性についてはよく分からないが、News Groupのcomp.parallelの5月3日にDEC社の研究者により投稿されたクラスタの性能データの一部を紹介する。これはDEC 3000/900 WS (EV45 275Mhz, GIGAswitch/FDDI crossbar switch)の上でDECのHPF/F90コンパイラを使い、3次元の差分法をred-black法で解いたものである。昨年のHPCN (Milano)で発表したもののようである。

プロセッサ数	1	2	4	8
PVM（計算時間）	510 sec	299 sec	144 sec	76sec
PVM（速度向上率）	1.0	1.7	3.5	6.7
HPF（計算時間）	510 sec	274 sec	181 sec	67 sec
HPF（速度向上率）	1.0	1.9	3.9	7.6

 

PVMより少しよい、との結論であるが、キャッシュの効果がどの程度かが問題であろう。このデータはもちろんHPF ver.1である。

SC96でも20日（水）の夜HPF BoFが開催された。これについてはSC96のところで。

2) F言語
1996年2月6日、Imagine1社（ニューメキシコ州Albuquerque）は、NAG、富士通、Absoft社とともにプログラミング言語Fを発表した。プログラミング教育にも、プロのプログラマにも使えるという触れ込みで、FORTRAN 77からFortran 95やHPFへの橋渡しを意図しているように見受けられた。Fortran 95のサブセットのようなもので、UnixやLinuxの上で動き、プラットフォームとしては、M68000でもPowerPC Macintoshでも、Windows 95やWindows NTを搭載したPCでも使える。書式は自由書式のみで、主要な特徴としては、

すべての変数は宣言しないといけない。attributeもその宣言において、全部書き下さないといけない

すべてのキーワードや組み込み手続きは、小文字予約語になっている

Fの手続きはMODULEの中に入ってないといけない(全部module procedure)

MODULEの変数、型、手続きは明示的に宣言されたaccess attribute (public/private)をもっていなければならない

宣言の順序に制限がある

terminalへのformatted I/Oと、STOPをしてもよいことを除いて、Fの関数は副作用を起こしてはいけない

 

1996年、Michael Metcalf and John Reid共著 “The F programming Language”がOxford University Pressから￡16.95（US$30）で出版された。

その後F言語はどうなったのであろうか。

3) Globus Project
前年1995年のI-Wayと呼ばれるメタコンピューティング実験の成果をもとに、グリッド環境を構築するために必要な基盤技術の開発を行うGlobus Projectが始まったが、1996年、オープンソースプロジェクトして確立し、その後は国際協力によって開発作業が進められた。2005年10月にはGlobus Allianceが作られる。

4) HTTP
HTTPがRFCで扱われるようになり、1996年5月にHTTP/1.0がRFC 1945として発表された。

性能評価

1) NAS Parallel Benchmarks 2
1996年1月、NASAのNAS部門はNPB 2を公表した。NPB 1は、アルゴリズムだけを指定する「紙と鉛筆」方式だったので、ベンダが総力を挙げてチューニングを行って結果だけを報告し、使ったソースコードは公開されなかった。これではベンチマークの結果が意味のあるものにならない、という反省があった。

NPB 2では、NPB 1の8つのベンチマークのうち5個をソースコードで与え、発表者は修正されたソースコードを公開することとした。NPB 1ではAとBのサイズがあったが、コンピュータの進歩によりサイズCを追加した。その後、さらに大きいサイズが追加される。

アメリカ政府の動き

1) アメリカ政府CIC R&D計画
HPCC (High Performance Computing and Communication、1992年度～1996年度)は1996年9月（年度末）に終了したが、その成果を踏まえて、これを拡張したより包括的なCIC (Computing, Information and Communications) R&D計画（1997年度～2001年度）が策定された。1996年2月に1997年度大統領予算教書の補足書での詳細を公表した。研究投資の項目としては、

　a) 高性能コンピュータシステムの開発
　b) 地球規模のネットワーク技術
　c) ソフトウェア開発技術と応用ソフトウェア開発
　d) 信頼性と安全性
　e) 巨大な分散知識リポジトリの管理およびアクセスの向上
　f) ヒューマンインタフェース技術

などが上げられている。これを補足する形で、11月28日、The National Science and Technology Council’s (NSTC) Committee on Computing, Information and Communications (CCIC)は、‟High Performance Computing and Communications: Advancing the Frontiers of Information Technology”と題した報告書を公表した。

1996年10月、クリントン政権は、21世紀に向けたネットワーク基盤の構築に向けてNGI (Next Generation Internet)構想（1998年度～2002年度）を発表した。

アメリカ政府は、HPCとネットワークをこれまで以上に連携する情報技術戦略を進めることとなった。

このような流れの中で、Internet2プロジェクトが多くの大学の研究者によって始まり、1997年には正式な非営利団体として発足した（後述）。

2) ASCI Red
ASCI計画の最初のスーパーコンピュータであるASCI Red（またはASCI Option Red）は、1996年末、Intel社によりSNL (Sandia National Laboratory)に建設された。基本的にParagonの技術を継承したものであるが、ノードプロセッサがi860でなくPentium Pro(200 MHz)であることと、ネットワークが2次元でなく3次元メッシュである点が異なっている。

HPCwire 1996/5/9によると、Intel社は1996年5月に64ノード2キャビネットの初期システム（20 GFlops）をSNLに納入した。1ボード当たり1ノードだそうである。最終版はボード当たり2ノード。大原雄介の記事およびHPCwireによると、1996年10月7日には208 GFlops （Linpackらしい）、11月22日には327 GFlops、12月4日には1 TFlopsを超えた。1997年6月のTop500リストでは、7264ノード（Rpeak=1.453 TFlops）を用いてLinpackで1.068 TFlopsを達成し、前回1996年11月の1位CP-PACS (368 GFlops)を抜いてダントツの1位を獲得している。翌年1997年6月12日には全キャビネットを稼働させ、1997年11月のTop500では9152ノード（Rpeak=1.830 TFlops）でLinpack 1.338 TFlopsを達成している。写真はTop500から。パネルの色は赤ではない。

ASCI Redはその後1999年にプロセッサをPentium II Xeon(333 MHz)に差し替えて2.379 TFlopsまで増強される。ASCI Redは2006年6月29日まで運用されたが、最後のTop500登場は2005年11月で、276位である。プロセッサやメモリまで（つまりボードごと）差し替えたとは言え、Top500に18回登場するのは、日本のNWT（数値風洞）とタイの記録である。

3) ASCI Blue
1998年にピーク性能3 TFlops以上を実現するというASCI Blueは、MPP構成のASCI Redとは異なり、SMPクラスタ方式のシステムとすることになり、1996年2月20日にRFP（提案依頼書）が公開された。大原雄介の記事によると、いきなり最終システムの提案を要求するのではなく、少なくとも2つのステージ、ID (Initial Delivery)とTR (Technology Refresh)が必要で、さらに多くのステージを踏んでもよいということになっていた。提案は3月26日に締め切られ、IBMとSGI/Crayの2つの提案が候補に残った。IBMはSP2をベースにシステムを構成することを提案したが、結果的にはPowerPCのクラスタとなった。SGI/Crayの提案は、Origin 2000（後述）というR10000ベースの32並列のcc-NUMAシステムをHIPPIによって結合するという提案で、TRでは4096プロセッサまで増強するという無謀にも見える計画であった。

DOEは、この2つの提案から一つを選択するのではなく、当初の予算を大幅に増額して、それぞれLLNLとLANLとに設置するという決定を行った。LLNLにはIBMのシステムを設置してASCI Blue Pacificと名付け、LANLにはSGI/Crayのシステムを設置してASCI Blue Mountainと呼ばれることになった。

IBM社は、1996年7月26日にDOEと$93Mの契約を結んだと発表し、1996年9月下旬には、ASCI Blue PacificのIDがLLNLに設置された。ノード当たり112MHzのPowerPC 604が1個で、512ノードであった。設置後わずか48時間で稼動したそうである。TRに当たるASCI Blue Pacific SST(1999)は、332 MHzのPowerPC 604evをノード当たり4個おき、1464ノード（5856 CPU）から構成されている。

ASCI Blue Mountainは、結局、250 MHzのR10000（500 MFlops）を128個（64ノード）搭載したcc-NUMAシステムを48個結合したものとなった。初期のシステムは1996年第4四半期から納入された。最終的には、CPU数は6144個、ピーク性能は3.072 TFlopsとなる。

4) DAPPA
国防省のARPAは再びDARPA（Defense Advanced Research Projects Agency）に戻った。これまでの経緯は、1972年にDARPAとなり、1993年にAPRAに戻っていた。

5) 米国Petaflopsプロジェクト
1996年4月、ARPA、DOE、NASA、NSA、NSFの後援のもと、Petaflops Architecture Workshopが開催された。また、6月には、ARPA、DOE、NASA、NSA、NSFの後援のもと、PetaFlops Summer Study on System Softwareが開催された。

アメリカ政府のNSF, NASA, DARPAは10月25日に以下の8つのPetaflopsプロジェクトを選定し、予算を付けた。

a) Andrew A. Chien and Rajesh K. Gupta, UIUC
b) Peter M. Kogge et al., U. of Notre Dame
c) Vipin Kumar and Ahmed Sameh, U. of Minnesota
d) Stephen L. W. McMillan et al., Drexel U., IAS, Princeton, 東京大学（牧野淳一郎）, UIUC, Princeton U.
e) Paul Messina and Thomas Sterling, CalTech
f) Jose A. B. Fortes et al, Purdue U. and Northwestern U.
g) Josep Torrellas and David Padua, UIUC
h) Sotirios G. Ziavra et al, New Jesey Inst. of Tech. and Wayne State U.

これらの成果は1996年10月27日のFrontiers ’96 Conference (Annapolis, Md.)で発表された(HPCwire 1996/11/1)。

JIPDECの「ペタフロップスマシン技術 に関する調査研究 III」によると、このころすでにPIM (Processor in Memory)やHTMA (Hybrid Technology Multithreaded Architecture)や光学holographyによるストレージなどが議論されている。

6) CSCC (Concurrent Supercomputing Consortium)
1991年に始まったCSCCは1996年12月をもって活動を停止した。CSCCの一環としてIntelが開発しCaltechに設置されたTouch Stone Deltaは、Paragonを経由して、ASCI Redに大きな影響を与えた。Caltechはその続きとして、Caltech’s Center for Advanced Computing Research (CACR)を設立した。

7) NERSC
1994年にSGIに転職したHorst Simonは、1996年2月にSGIからNERSC (National Energy Research Supercomputer Center)のDirector of Computational Research Divisionに移った。その直後の1996年4月、NERSCはLLNLからLBNLに移転したが、大移動であった。

歴史を振り返ると、この機関はDOEにより1974年にCTRCC (Controlled Thermonuclear Research Computer Center)としてLLNLに設置され、CDC6600、CDC7600、Cray-1、Cray-2などが設置されていた。1980年代の前半、NMFECC (National Magnetic Fusion Energy Computer Center)と改称された。筆者は1986年夏に訪問した。1990年代前半にもう一度改名され、NERSCとなった。

LivermoreのNERSCの主要な計算資源は、C-90/16と2台のCray-2Sであったが、C-90は5月にBerkeleyに移転した。Cray-2Sは移動せずに名誉引退させることとし、8月までLivermoreで稼働させた。新たにJ90/32を導入し、4月15日に稼働した。夏に、300 MHzのT3Eを128ノードで設置する。1997年中に、Cray T3E/512に増強する予定である。C-90は1997年末に引退するので、T3Eが主要計算資源となる。

Horst Simonはこの大移動の経験を、SC’96のチュートリアルで、”Reinventing the Supercomputer Center”と題して講義した。こんなチュートリアルを誰が聴いたのだろうか？　スーパーコンピュータセンターを移転して再構築する、などという幸運に恵まれる人がそれほどいるとも思えないが。

前に述べたように、筆者は12月にLBNLを訪問し、NERSCで“CP-PACS”と題してセミナーを行ったが、よく考えたら大移動後の程なくだったようだ。

8) NSF Supercomputer Centers (PACI)
1995年のところに書いたように、4カ所のNSFスーパーコンピュータセンターは、とりあえず1996年まで2年間の延長を決め、Edward Hayesを座長とするTask Forceは、通称Hayes Reportと呼ばれる報告書を作成した。これに基づきPACI (Partnership in Advanced Computational Infrastructure) というプログラムが公表された。年間予算は$65M、約70億円（当時）である。これは、2つないし3つのセンターの運営がやっとであろう。

アメリカ中から提案を求め、選考過程に入った。まず一次の絞り込みを行い、更に絞って4つが残った。これは、なんと現存の4センターであった。落ちたのは、UCLAとOhio State Universityだとかいう話である。さて、この4センターの中から勝者は、そして敗者は？　来年(1997年)の3月には決まるとのこと。各センターとも外部評価を行ってアピールするなど、どこの国もやることは似ている。Illinois が危ないとか、San Diego が危ないとか、いや Pittsburgh が危ないとか、いろんな噂があるようだ。SC96でCornell Theory CenterのMalvin Kalos 所長とも話をしたが、自信ありげであった。

9) SDSC（センター長交替、不法侵入）
NSF Supercomputer Centers の一つであるSDSC (San Digo Supercomputer Center)は、4月、辞意を表明していたSid Karinに代わってDennis Dukeをセンター長に任命した。Dukeは、the Supercomputer Computations Research Institute (SCRI) at Florida State Universityの所長を務めていた。

11月、SDSCおよびthe Pacific Institute of Computer Security (PICS)は、センターのUnixシステムに不法侵入を検出したと発表した。攻撃は3台のマシンに対してなされ、これを逆解析して、ネットワーク・ファイルシステムの脆弱性を突いたものであることを見出した。これは非常に長いファイル名に命令コードを埋め込み、不当に実行させるもので、いわゆる「バッファ・オーバーフロー脆弱性」であろう。SDSCの技術者Tom Perrineによると、攻撃されたOSはIRIX、SunOS v.4、Solaris 2.5、Digital UNIX v.2 & 3であるが、この攻撃はSolaris 2.5以前のOSに対してしか有効でなかった。

10) Internet2
SCの間、インターネットの将来が話題になっていた。アメリカは、NSFネットワークを2-3年前に民間のプロバイダに移行してしまったが、全世界的なインターネットの隆盛ともあいまって、十分なconnectivity が保証されていない、という不満が起こっている。

ひとつは、vBNS (very-high-speed Backbone Network Service) であり、スーパーコンピュータセンターと教育機関をMCIにより、1995年4月から接続している。センター間はOC-3 (155 Mbps)、4つの Network Access Points とは T-3 (45 Mbps)。1997年までには、バックボーンを OC-12 (622 Mbps) に上げ、将来は OC-48 (2.5 Gbps) を実現したい、という。インターネットと違うところは、一定の帯域を予約する機能をもっていることである。

これとは独立に、研究・教育コミュニティーが独自のネットワークを構築するために、150校の研究大学が集まって、Internet II (Second Generation Internet) の計画が進んでいる（Alan McAdams, Cornell Univ. の話）。IBMが$100Mを寄付したほか、CiscoとNovelが$100M相当の機材を寄付することになっている。95年に The Monterey Requirements が定義され、とくに room-based teleconferencing, video, voice が条件とされた。帯域としては、Wide Area が 622M-2.4G bps、campus が 10M-622Mbps、community が 1.5M-10Mbps (to the home) を目安とする。

これは、vBNS とは違って、multivendor を想定している。もちろん、vBNS は一つのモデルとなるであろう。ただ、「どうcoordinate するのか？」、「vendor は？」、「政府の援助がなくなった後やっていけるのか？」などたくさん問題がある。最後の点は、各大学の電話システムが不要になるので、その資金を投入すればよい、という考えもあるようである。また、commodity はいつ catch-up するのか、という問題も提起されている。Internet2プロジェクトは1996年、EDUCOMの後援の下、34の大学の研究者らによって始まった。正式な組織は1997年、University Corporation for Advanced Internet Development (UCAID) という非営利団体として発足。その後名称を Internet2 に変更し、”Internet2″ を登録商標とする。

次回は日米スーパーコンピュータ摩擦、ヨーロッパの動き、中国の動き、世界の学界など。アメリカはなりふり構わずNCARへのSX-4導入阻止に動く。