新HPCの歩み（第253回）－2007年(f)－

アメリカ議会はAmerica COMPETES Actを成立させた。NSFはUIUC（イリノイ大学）にBlue Watersというスーパーコンピュータの予算を付け、IBMと開発することになった。そのほか多くの大学にスーパーコンピュータが設置されTeraGridを通して提供された。ヨーロッパの15カ国はその所有するスーパーコンピュータ資源を共同利用することになった。

アメリカ政府の動き

1) 2008年度予算
Bush大統領は、2007年2月5日に2008会計年度（2007/10～2008/9）の予算教書を発表したが、NITRDの予算要求は2007年とほぼ同じ$3056Mであった。

2) HPC R&D Act
1991年に成立し、HPCCを発足させたthe High Performance Computing R&D Actの改訂(H.R. 1068)が3月12日に下院を通過し(HPCwire 2007/3/30)、8月9日に成立した。昨年の2006年版は、下院を通過したが、上院では共和党の反対でつぶれた。元々超党派の提案だったのに。

その後、2017年1月6日にも改訂されている。

3) America COMPETES Act
この法律は民主党下院議員Bart Gordon（テネシー州6区選出）が起草したもので、2007年5月10日に提出された。彼は2007年から2011年まで下院の科学技術委員会の委員長を務めていた。America COMPETES Act とは“America Creating Opportunities to Meaningfully Promote Excellence in Technology, Education and Science Act of 2007”というこじつけのようである。米国の競争力優位を確実なものとするため、国立科学財団（NSF）、国立標準技術研究所（NIST）、エネルギー省科学局などの科学技術予算の大幅な増による研究開発の推進や理数教育の強化、ハイリスク研究の促進などを図る包括的なイノベーション推進法である。議会を通り、2007年8月9日にG. W. Bush大統領が署名し法律Public Law No: 110-69となった。(HPCwire 2007/8/17)

その後、2010年5月29日に、下院はこの法律の権限を増強する方策を承認し、7月22日、上院の商業・科学・交通委員会はthe America COMPETES Reauthorization Act of 2010を承認し、上院本会議にかけた。2011年1月4日B. Obama大統領はthe America COMPETES Reauthorization Act of 2010 (P.L. 111-358)に署名した。内容の詳細はNEDOの橋本正洋氏の記事を参照のこと。

4) NSF（2007年度予算）
NSFは、2006年2月、2007会計年度（2006年10月～2007年9月）に向けて、$6.02Bの予算案を提案した。これは2006年度と比べて$439M (7.9%)の増額である。(FY 2007 Budget Request) 会計年度に入って5か月過ぎの2007年3月8日、$5.91Bの予算が承認された。これは2006年度より$334.74Mの増額である。(Fiscal Year 2007 Appropriation)

5) NSF (Track 1、Track 2発表)
NSF (National Science Foundation)は2007年8月7日声明を出し、NSFが”Track 1”として募集していた世界最強のスーパーコンピュータの購入と運用の予算を、NSB （National Science Board、1950年にできたNSFの監督機関)が承認したと発表した。(Science Daily 2007/8/14) このスーパーコンピュータは、PFlopsを超える性能により、世界で最もチャレンジングな科学技術上の難問を解決することが期待されている。同時に、現在のHPC資源と建設中のペタスケール資源とのギャップを橋渡しする比較的小さいがそれでも強力な”Track 2”システムも合わせて発表した。

a) Track 1
　Illinois大学Urbana-Champaign校(UIUC)は、”Blue Waters”と呼ばれるPetascleのコンピュータを購入するために4.5年間に$208$を授与する。これは今日の典型的なスーパーコンピュータと比べて500倍強力である。システムは2011年に運用状態に入ることを期待している。Blue WatersはThomas Dunning博士の指導の下NCSA (the National Center for Supercomputing Applications)が運用し、the Great Lakes Consortium for Petascale Computationに属する学界や産業界のパートナーが協力する。
　報道によると、Track 1の有力候補は次の4件だったようである。

主要参加者	システム	推定ピーク
Carnegie Mellon U/PSC	Intel’s future terascale processors	40 PFlops
UCSD/SDSC/LBNL	IBM BG/Q	20 PFlops
UTK/ORNL	Cray Cascade	20 PFlops
UIUC/NCSA/Great Lakes Consortium	IBM PERCS	10 PFlops

 

こう見ると、一番性能が低い提案が採用されたわけで、ちょうど日本の計画とぶつかる。そもそもPERCSはPFlops/WとしてはBG/QやIntel Wonder machineより悪い。NCSAなんて今まで先端スーパーでは遅れを取っていたのになんで、などという批判的な報道があった。UIUCはTrack 2にも提案していたようで、そちらは採用されなかった。

b) Track 2
　Track 2としてはTennessee大学Knoxville校のJICS (Joint Institute for Computational Science)に5年間$65Mの予算をつける。パートナーは、ORNL, TACC、NCARである。これでTennessee大学もTeraGridの10番目の資源提供機関となった。Thomas Zacharia (ORNL)の指導の下、1 PFlops弱のピーク性能のシステムを提供する。これは、現在のTeragridの能力の4倍である。このシステムは通常のTeragridのポリシーで運用される。
　この予算提供は、昨年Texas大学Austin校のTACCに対し、Arizona州立大学、Cornell大学などと共同で5年間$59Mを提供したに続く第2弾である。NSFのTrack 2のイニシアティブは、4年間にわたって4件の最先端のコンピュータシステムを提供することを計画している。これらはすべてTeragridに組み込まれて運用される。

各大学のセンターは明暗を分けた。Track 1のUIUC、Track 2のTACCとUT-JICSは勝ち組であるが、PSC (Pittsburgh Supercomputer Center)はTrack 1に落ち、SDSCはTrack 1と2の両方に落ちてしまったので、来年のTrack 2の3次募集に再挑戦するであろうが、それに落ちたらセンターの存続に関わるのではないか、と思われた。SDSCでは、Fran Berman所長の指導力が疑問視された。

NSFはCHREC (the Center for High-Performance Reconfigurable Computing、シュレックと読むらしい)を2007年1月に設立した。アカデミアと産業界の連携のもとリコンフィフラブル・コンピューティングの研究を行うセンターである。センター長はAlan George。

6) LONI（TeraGrid参加）
LSU（Louisiana State University）のCenter for Computation & Technologyが運営するルイジアナ州の大学グリッドであるLONI (the Louisiana Optical Network Initiative)は、その中心マシンとして、Xeon E5345 4C 2.33 GHz搭載のPowerEdge 1950をInfinibandで接続したDell社のスーパーコンピュータQueen Beeを州都Baton RougeのLouisiana State Universityの構内に設置し、運用を開始した。2007年6月のTop500では、コア数5440、Rmax＝34.78 TFlops、Rpeak＝50.77 TFlopsで23位にランクしている。2007年10月1日にTeraGridに11番目（最後）の資源提供機関として正式に参加し、所有するスーパーコンピュータQueen Beeの資源の半分をTeraGridに提供することとなった(CCT News Release 2008/2/1)。2008年2月1日から、実際に資源を提供する。この導入はTrack 2の一つのようであるが要確認である。（E. Seidel (NSF) のスライド参照）

アメリカの大学のコンピュータとして4位（12位のRenselaer工科大のBlueGene、14位のNCSAのAbe、22位のTACCのLonestarに次ぐ）ということで盛り上がっていた。(CCT Weekly 2007/7/3)「女王バチ」という命名の理由は分からない。

7) Exascaleに向けて
次世代の科学技術計算におけるチャレンジを議論するためのタウンホール・ミーティングが、2007年4月から6月にかけてLBNL (4/17-18)、ORNL (5/17-8) およびANL (5/31-6/1)で開催された。これはアメリカにおいてエクサスケールをめぐる総合的議論を行った初めての会合であった。参加者は計450人。報告書“Modeling and Simulation at the Exascale for Energy and the Environment”が公開されている。

8) ORNL
ORNLは、2007年4月に、Jaguarの一部をXT4に更新し、ピーク性能を54 TFlopsから119 TFlopsに倍増した。全体で11,708個のdual-core AMD Opteronプロセッサを含む。 主記憶は46 TB、ディスクは750 TBである。(ORNL News 2007/4/11) 6月のTop500では2位にランクした。今後、XT4をquadcoreに置き換える予定と発表した。これらの計算資源の一部はDOEのINCITEプログラムに提供される。(HPCwire 2007/4/13) 2004年にも書いたが、ORNLのこのシステムの発展をテーブルで示す。

初出	順位	機種	コア数	Rmax (TFlops)	Rpeak (TFlops)
2005/6	11	Cray XT3, 2.4 GHz	3748	14.170	17.990
2005/11	10	Jaguar-Cray XT3 2.4	5200	20.527	26.960
2006/11	10	Jaguar-Cray XT3 2.6 dual core	10424	43.480	54.2048
2007/6	2	Jaguar-Cray XT4/XT3	23016	101.700	119.350
2008/6	6	Jaguar-Cray XT4 2.1 quadcore	30976	205.000	260.200
2008/11	2	Jaguar-Cray XT5 2.3 quadcore	150152	1059.0	1381.4
2009/11	1	Jaguar-Cray XT5 2.6 6core	224162	1759.0	2331.0
2012/6	6	Jaguar-Cray XK6 2.2 16core + NVIDIA 2090	298592	1941.0	2276.09

 

9) NERSC
2001年1月から稼動していたSeaborg (IBM SP Power3 375 MHz 16way, 6656 cores, Rmax=7.304 TFlops, Rpeak=9.984 TFlops)は2007年末に引退することになった。2001年8月からはSciDACやINCITEプログラムに2.5億CPU時間を提供し、3000人が利用した。(NERSC News 2007/8)

NERSCのHorst Simon所長は昨年辞意を示していたが、2007年10月29日、UC Berkeleyのコンピュータ科学教授のKatherine (Kathy) Yelick（線形計算のJames Demmel教授夫人）がNERSCの新所長に指名された(LBL Research News 2007/10/29)。着任は2008年1月（2012年まで）。(HPCwire 2007/11/2)

10) DOE (INCITE)
DOEの主宰する公募制の資源提供プログラムINCITE (the Innovative and Novel Computational Impact on Theory and Experiment)は、2006年から民間からも課題募集をしている。2007年1月8日、DOEは9500万processor-hoursを45の課題に配分したが、民間企業に対しても、昨年の4社に加えて、Corning社、Fluent社（General Motors社とともに）、Procter and Gamble社に、計550万processor-hoursを配分した。割合としてはわずかであるが、2004年のINCITEの最初の配分は全体で500万processor-hoursであったことを考えると、かなりの資源である。(HPCwire 2007/1/12)

また、ORNLは前記のように、Cray社の新しいスーパーコンピュータを導入する予定であるが、7500万processor-hoursを29の課題に配分すると発表した(HPCwire 2007/1/12)。

LBNLのNERSCは、900万processor-hoursの資源を7つの課題に配分すると発表した(NERSC News 2007/1/8)。

2月、ANLのBlueGene/LとT.J.Watson Research CenterのBGWの計算時間1000万ノード時間を、9プロジェクトに割り当てた。5件は新しいプロジェクトで、4件は継続利用である。新しいプロジェクトは、「泡形成の分子メカニズム」（Procter & Gamble Co.）、「密閉ナノ空間での水のシミュレーション」(UCD, LLNL)、「液体ナトリウム冷却炉の熱伝導」（ANL,　UI）、「材料の破壊のシミュレーション」（ORNL）、「ナノスケールでの光の操作」（Northwester大）である。継続プロジェクトは、「タンパク質構造の高精度予言」（Washington大）、「航空機エンジン燃焼の高忠実度シミュレーション」（Pratt & Whitney Co.）、「高緯度の炭素放出と気候変動」（Alaska大）、「Parkinson秒の分子理解」（UCSD）である。(HPCwire 2007/2/2)

11) NNSA
2007年10月2日、Appro社は、LLNL, LANL, SNLの3研究所に合計$26.1Mで8台のLinuxクラスタAppro Xtreme-Xを納入する契約を結んだと発表した。これはquad-core Opteronを搭載したシステムで、ピーク性能の合計は438 TFlopsとなる。このシステムはNNSA (National Nuclear Security Administration)のASC (Advanced Simulation and Computin)とStockpile Stewardship Programのためのcapacity computingのために利用される。この3研究所はASC (Advanced Simulation and Computing)計画のホームであるが、これにAppro社がquad-core Opteronクラスタで殴りこんだ形となった。(HPCwire 2007/10/5)

12) PNNL (Chinook Cluster)
DOE傘下のPNNL (Pacific Northwest National Laboratory、ワシントン州Richland)は、2007年9月、100 TFlops超級のスーパーコンピュータをHP (Hewlett-Packard)社と契約したと発表した。同研究所は2007年からIBM社のNWICE (Spray cooled xSeries x3550 Cluster Xeon quad core)を利用している。これは2008年6月のTop500で、コア数1536、Rmax＝9.59 TFlops、Rpeak＝14.32 TFlopsで408位にランクしている。

HPは、Cluster Platform 4000 DL185G5, Opteron QC 2.2 GHzを提供する。相互接続はInfiniBand DDRである。(HPCwire 2007/10/5) このマシンはChinookと命名され、2008年11月のTop500で、コア数18176、Rmax＝97.07 TFlops、Rpeak＝159.95 TFlopsで21位にランクしている。

13) DARPA (HPCS)
昨年2006年11月21日（米国時間）、DARPAはHPCS Phase IIIに参加する企業として米Cray社と米IBM社の2社を選んだと発表した。2007年8月になって、SARPAは2社に配分する予算を縮小すると発表した。理由として、両社とも開発に十分な資金を持っているからと述べている。(Insider HPC 2007/8/13)

14) Center for Advanced Computing (Cornell University)
CTC (Cornell Theory Center)は、1985年にノーベル物理学賞受賞者Ken Wilsonのリーダーシップの下に、NSFスーパーコンピュータセンターの一つとして設立された。2007年7月1日、同センターはCenter for Advanced Computingと改名された。(CAC History)初代センター長にはDavid Lifkaが任命された。2022年1月24日からはRich Knepperに変わる。(HPCwire 2022/1/18)

ヨーロッパの政府関係の動き

1) HPC協定
ヨーロッパの15カ国は、2007年4月17日にベルリンにおいて、HPCを推進するためのPACEイニシアティブ(Partnership for Advanced Computing in Europe)に関するMOU (Memorandum of Understanding)に署名した。参加国は、オーストリア、フィンランド、ドイツ、ギリシャ、イタリア、ノルウェー、ポーランド、ポルトガル、スペイン、スエーデン、スイス、オランダ、トルコ、イギリスである。15カ国はその所有するスーパーコンピュータ資源を共同利用するとともに、€400Mを拠出して1か所以上の新しいスーパーコンピュータセンターを建設する。15カ国が拠出するとともに、EUのthe 7^th Research Framework Programが用意する。(HPCwire 2007/4/18)

2) DEISA
2002年に発足したDEISA (Distributed European Infrastructure for Supercomputing Applications)コンソーシアム、は、2007年5月21日～2日にMunichでシンポジウムを開催し、ヨーロッパにおいてペタスケール・コンピューティングを実現するための、イニシアティブと戦略について議論した。(CORDIS 2007/3/19)ロゴはBSCのページから。 2008年にはDEISA2に引き継がれる。

3) HECToR (Edinburgh大学)
イギリスのEPSRC (The Engineering and Physical Sciences Research Council)、NERC (Natural Environment Research Council)およびBBSRC (Biotechnology and Biological Sciences Research Council)は、イギリスのアカデミアのために、Edinburgh大学内にスーパーコンピュータセンターHECToR (High End Computing Terascale Resource)を2007年10月から稼働させた。写真はHECToRのホームページから。

このためEPSRCは2007年2月15日、Cray社と6年間の契約を2個締結した。(HPCwire 2007/3/30)HECToRの計算資源はいくつかのPhaseに分けて導入される。(Wikipedia:HECToR)によれば、以下のとおり。

(a) Phase 1
Phase 1では、2.8 GHz AMD Opteron (dual core)の11328コアを搭載したCray XT4を導入した。メモリはプロセッサ当たり4 GBである。2007年11月のTop500ではRmax＝54.648 TFlops、Rpeak＝63.4368 TFlopsで17位にランクしている。
2008年8月、Cray X2 Black Widowベクトルノードが28個付加された。各ノードは4個のベクトルプロセッサを含み、全体では112個のベクトルプロセッサを搭載する。各プロセッサは25.6 GFlopのピーク性能をもつので、ベクトル全体では2.87 TFlopsである。メモリはノード当たり32 GBで全体では896 GBである。ただし、ベクトルによる性能の付加はmarginalで、2008年11月のTop500にX2を含むデータは登場していない。

(b) Phase 2a
Phase 2aは2009年夏で、2.3 GHz Opteron (quad core)を11328コアを搭載したCray XT4キャビネットを付加した。プロセッサ当たりのメモリは8 GBである。コア数は倍増し（ただしquad coreの方はクロックが低い）、ピーク性能は208 TFlopsで総メモリは45.3 TBである。2009年11月のTop500では、コア数22656、Rmax＝174.08 TFlops、Rpeak＝208.44 TFlopsで20位にランクしている。

(c) Phase 2b
　2010年には、既存のXT4システムを半分のサイズに縮小した。2010年11月のTop500では、コア数12288、Rmax＝95.08 TFlops、Rpeak＝113.05 TFlopsで、78位にランクしている。すべて2.3 GHzのquad coreのようである。
　新たに、20キャビネットのCray XT6システムを導入した。これは12 coreの2.1 GHz Opteron 6100プロセッサを3712個搭載している。2010年6月のTop500では、コア数43660、Rmax＝274.70 TFlops、Rpeak＝366.74 TFlopsで16位にランクしている。2010年後半には、接続をSeaStar2からGeminiに更新した。併せてノードも増やしたようで、2011年6月のTop500では、Cray XE6 12-coreとして、コア数44376、Rmax＝279.64 TFlops、Rpeak＝372.76 TFlopsとなり24位となっている。

(d) Phase 3
　2011年11月と12月にPhase 3に更新し、16-coreの2.3 GHz Interlagos Opteronを搭載したCray XE6システムを導入した。キャビネットは30個で704枚のブレードを含む。2011年11月のTop500では、コア数90112、Rmax＝660.24 TFlops、Rpeak＝829.03 TFlopsで19位にランクしている。このシステムは2015年6月までTop500に登場している。

4) CSCS（スイス）
スイス国立スーパーコンピュータセンターCSCS (Centro Svizzero di Calcolo Scientifico, Swiss National Supercomputing Centre)は、1991年にLugano湖畔のMannoに設立された（2012年3月にLugano-Cornaredoに移転）。アルプスの麓のイタリア語圏にあるので、正式名称はイタリア語である。1999年に外部諮問委員として訪問したことはすでに述べた。

2007年4月16日、これまで設置してあったCray XT3をXT4にアップグレードしてピーク23 TFlopsのシステムとする契約をCray社と締結したと発表した(HPCwire 2007/4/24)。WikipediaによるとXT4は2007年5月から2台稼動しているが、Piz Buinは264 Opteron（1056 cores）でRpeak=9.71 TFlops、La Dôleは146 Opteron (640 cores)でRpeak=5.88 TFlopsである。合わせても23には程遠い。Top500リストではXT3が残っていて、この方が性能は上である。アップグレードではなかったのか？

5) SARA（オランダ）
2007年3月29日、SARA (Stichting Academisch Rekencentrum Amsterdam)は、オランダの国立スーパーコンピュータセンターの建設をIBMと契約したと発表した。2008年までのつなぎとして、2007年の第2四半期にPOWER5+に基づく14 TFlops以上のシステムを設置する。最終的にはピーク60 TFlops、メモリ15 TBのシステムとする予定。(Press Box 2007/4/10)

6) Gauss Centre for Supercomputing
ドイツの国立スーパーコンピュータセンターであるHöchstleistungsrechenzentrum Stuttgart (HLRS, High Performance Computing Center, Stuttgart)と、Rechenzentrum Jülich（Jülich Supercomputing Centre）と、Leibniz Supercomputer Centreの三者は2007年3月、Gauss Centre for Supercomputingを構成した。(Wikipedia: Gauss Centre for Supercomputing)(HPCwire 207/3/23)

7) JuRoPa（Jülich、ドイツ）
Forschungszentrum Jülichは、ISC2007において、EUおよびUSAの企業の協力を得てJuRoPA (Juelich Research on Petaflop Architectures)システムを開発し、1 PFlopsを実現すると述べた。これは、Intel社のプロセッサ技術(Xeon 5160)を用い、Quadrics社の相互接続網で接続し、PARTEC社のクラスタソフトウェアおよびIBM社のxテクノロジを用いる。(idw 2007/6/26) 結果的には、2009年にSun Constellation Nova Scale R422-E2 (Intel Xeon X5570, 2.93 GHz, Sun M9/Mellanox QBR Infiniband/Partec Parastation)が稼働した。2009年6月のTop500では、コア数26304、Rmax＝274.80 TFlops、Rpeak＝308.28 TFlopsで、10位にランクしている。

8) Météo-France（フランス）
2006年に書いたように、フランス気象庁は正副2セットのNEC SX-8R （2.2GHz）をToulouseの予報センターに導入し、2007年5月31日に正式稼働した。2007年6月のTop500では、コア数128、Rmax＝4.058 TFlops、Rpeak＝4.505 TFlopsで、それぞれ492位tieにランクしている。フランス気象庁は、2008年にも新しい予報モデルAROMEをこのスーパーコンピュータに実装する。また気象予報だけでなく、気候変動の研究にも使われる。(HPCwire 2007/6/15)

9) Spanish Supercomputing Network (RES)
2007年3月、スペインの教育科学省は、スペイン国内の計算資源の需要の増大に備えて、The Spanish Supercomputing Network (RES, La Red Española de Supercomputación) を設立した。バルセロナのBSCやマドリードのCeSViMaが加わっていたようであるが、初期のメンバーは不明である。現在は14か所のスーパーコンピュータセンターの連合となっている。(Wikipedia: Spanish Supercomputing Network)(RES English homepage)

10) CSC (Center for Scientific Computing, Espoo, Finland)
フィンランドのCSCは、2006年10月、Cray社の超並列機（コード名Hood、後のXT4）を導入することを決定した。2006年末から2008年にかけて段階的に設置され、最終的には70 TFlopsの計算能力をユーザに提供する。(HPCwire 2007/6/22) 2007年6月のTop500ではLouhi（Cray XT4、2.6 GHz）が、コア数2024、Rmax＝8.88 TFlops、Rpeak＝10.53 TFlopsで109位にランクした。2008年11月のTop500には、Cray XT5/XT4 QC 2.3 GHzが、コア数10816、Rmax＝76.51 TFlops、Rpeak＝99.51 TFlopsで32位にランクしている。

次回は、中国の政府や企業の動き、世界の学界の動きなど。