HPCの歩み50年（第131回）－2006年(g)－

DOE関係ではLANLのRoadrunnerと呼ばれるPFlops級のスーパーコンピュータの提案公募があり、IBMの案が採用された。ORNLではCray XT3が増強された。SNLのRed Stormもさらに増強された。NSF関係ではTeraGridが拡大した。

アメリカ政府の動き

1) 一般教書演説
ブッシュ大統領は1月31日（1月最終火曜日）に恒例の一般教書演説(the State of the Union address)を行った、イラクでの戦争を継続するとか、石油依存を止めるとかのところが報道されたが、科学研究についても言及した。

大統領はAmerican Competitiveness Initiative (ACI)に言及し、グローバル経済の中でアメリカの競争力が強化されるようアメリカのイノベーションを奨励すると述べた。このためには、アメリカの子供達が数学と理科においてしっかりと基礎を学ぶことが重要である。このため研究開発や教育強化、起業奨励、技術革新などのために、2007会計年度（2006/10～2007/9）で$5.9Bを投資し、今後10年間に合計$136B以上を確保する。

2) LANL
DARPAのHPCS計画は2 PFlopsのコンピュータを目指しているが、DOE関係では、5月、LANL (Los Alamos National Laboratory)はNNSA (DOE National Nuclear Security Administration)を通して初めてのPFlops級コンピュータのRFP提案公募を行った。名前はRoadrunner supercomputer at LANLである。Roadrunner（日本名「ミチバシリ」）はニューメキシコ州の州の鳥である（州の鳥は、正確にはオオミチバシリ Greater Roadrunner）。

計画は3つのphaseからなり、初年度には$53Mの予算が付いている。今回公募された提案はphase 1に対してであり、今年の夏までにクラスタを入れる。最終的には2 PFlopsに達する。世界初のPFlops級のコンピュータになる予定である。

Pete Domenici上院議員（ニューメキシコ州選出、共和党、在任1973-2009）は、上院の「エネルギーおよび水資源開発使用小委員会(U.S. Senate Appropriations Subcommittee on Energy and Water Development)」の委員長である。DOE予算はこの小委員会の管轄であり、ニューメキシコ州にもってきたのは彼の政治力らしい。

このコンピュータの主要目的は、核兵器のシミュレーションを行い、地下実験なしに設計の改良を行うことである。同時に、科学技術計算によりアメリカの競争力増強に資するものである。

9月6日、DOEのNNSAはIBMの提案を採用し、16000個のCell B.E. (Broadband Engine)とAMD社のx86プロセッサ16000コアからなるコンピュータを製作することとなったことを発表した。システムの完成は2008年で、全予算は$110Mである。ピーク性能は1.6 PFlopsである。このようなヘテロな構成の大規模コンピュータを汎用目的に製作することは大きな挑戦である。

我々もこのニュースにびっくりした。16000個のOpteronでは3 GHzでdual issueでも192 TFlopsしかない。つまり大部分の浮動小数演算能力はCellで実現することになる。現状のゲーム用のCellでは、単精度ではチップ当たり200 GFlopsほどあるが、倍精度ではその1/10程度でとてもPFlopsは超えない。倍精度を強化した改良版であろうと予想した。報道によると、Roadrunnerのテスト版はとりあえず現在の32bit版のCellを使い、実用版には64bitのCell を開発するようである。プログラミングモデルについても議論している。

3) ORNL
2006年6月17日、Cray社は、ORNL (Oak Ridge National Laboratory)にPFlops級のスーパーコンピュータを導入する契約を締結したと発表した。前に書いたとおり、6月16日、JSPSワシントンセンター主催の”Science in Japan” Forumが開かれたが、午前中のmoderatorをやっていたThomas Zacharia (ORNL) が「すごいのが入るぞ」と言っていたがこのことらしい。システムとサービスを合わせて$200Mの契約で、複数年にわたる。既設のCray XT3をリプレースする。

今年はOpteronをdual-coreに換えて25 TFlopsのピーク性能とする。2006年後半には100 TFlopsに、2007年後半には250 TFlopsとする予定。2008年後半には次世代のCrayスーパーコンピュータ(コード名Baker)を設置しPFlopsを狙う。これらすべてはAMDのOpteronを用いる。ただし、ピーク性能より実際の応用での性能を目的にしている。

ORNLのコンピュータ科学・計算科学担当副所長であるThomas Zachariaはこう述べている。「このシステムがPFlopsのピーク性能を持つようになることは事実である。しかし、このシステムの仕様には、実アプリケーションやベンチマークでの性能予測だけでなく、メモリ、メモリバンド幅、相互接続網やI/Oバンド幅、ストレージなどに関する重要な指標も含まれている。それにより非常にバランスのとれたコンピュータになっている。このシステムに限らず、単にPFlopsだけを言うのは、システムの能力を正しく言い表していない。」

Cray社のCEO兼社長のPeter Ungaroはこう述べた。「疑いもなくCrayにとって偉大な日だ。Crayのスーパーコンピュータは1989年最初に1 GFlopsの実効性能を実現した。また1998年には初めてTFlopsの壁を破った。今やORNLとCrayはPFlopsの壁をともに破ろうとしているのみならず、Crayの適合型スーパーコンピューティングのビジョンを実現するためにも力を合わせている。」（HPCwire 6月17日号）

2006年9月1日、ORNLの増強されたCray XT3スーパーコンピュータは、Jaguarと名付けられ54 TFlopsのピーク性能に達したことが発表された。2006年11月のTop500では、Rmax=43.48 TFlops、Rpeak=54.2048 TFlopsで10位であった。

4) SNL
SNL (Sandia National Laboratory)のRed Stormは更新が進み、Opteron dual-core 2C 2.4 GHzを13272チップで、Rmax=101.4 TFlops、Rpeak=127.411 TFlopsで2位となった。

1996年12月にTFlopsの壁を越え、1997年6月のTop500でCP-PACSに代わって1位を取ったASCIの最初のスーパーコンピュータASCI Redは2006年7月、ついにシャットダウンとなった。ASCI Redは、最初はピーク性能1.6 TFlopsであったが、チップの取り替えなど更新を続け、1997年6月から2000年6月まで連続7回トップを占めた。最後は3.2 TFlopsであった。Top500に現れた最終は2005年11月の276位であった。

5) NERSC
NERSC (National Energy Research Scientific Computing Center、LBNL内)は、2006年1月9日、888プロセッサから構成されるBassiの運用を始めたと発表した。Bassiの名前は18世紀のイタリアの物理学者Laura Bassi(1711-1778)を記念したものである。Wikipediaによると、「ヨーロッパの大学で初めて教授となった女性」で、「ボローニャで法律家の娘に生まれ、1731年にボローニャ大学の解剖学の教授に任命された。1738年に結婚し12人の子供を生んだが、ニュートン力学に関心を持ち、1776年に65歳で物理学の教授に復帰した。」とあり、すごい女性である。

BassiはPOWER5 (1.9 GHz)に基づくp576システムで、ノードは8プロセッサからなり、32 GBの共有メモリを持つ。Top500には2005年11月から登場し、ノード数976、Rmax=6.41513 TFlops、Rpeak=7.4176 TFlopsとなっている。

2006年8月、NERSCとDOE Office of Scienceは、次期システムとしてCrayと契約したと発表した。前世紀のT3Eを別にすれば、これまでの主力マシンはIBM SP Power3 (375 MHz, 16 way, Rmax=6.656 TFlops)のSeaborgや前述のBassiで、IBMが担っていた。Cray社との契約は複数年にわたり、$52Mである。導入予定のシステムはコード名Hoodであり、19000コアのOpteron dual-core (2.6 GHz)からなるシステムで、今年後半に設置を開始し、2007年前半には全システムを設置する予定。世界一流の科学者の名前を付けるというNERSCの伝統により、このマシンはFranklinと命名された。ちなみにMount Hoodはオレゴン州の火山(2349 m、州内最高峰)の名前である。独立峰でオレゴン富士とも呼ばれる。

実際には2007年にdual-coreのFranklin (XT4、Rmax=85.368 TFlops)が導入され、2008年にquad-coreに取り替えてRmax=266.3 TFlopsとなった。

NERSC所長のHorst Simonはこう述べている。「スーパーコンピュータの理論ピーク性能は、自慢するにはいいが、実際の研究用のプログラムを走らせたときどんな性能を出すかを正確に示すものではない。このシステムが2500人のユーザの要求にどう応えるかを調べるため、NERSCではSSP (Sustained System Performance)という指標を開発した。このテストによれば、新しいステムは16 TFlops以上の実効性能を実現する。」

Cray社のCEO兼社長のPeter Ungaroはこう述べている。「NERSCが大規模Crayスーパーコンピュータのホームに復帰したことに興奮している。単純なピーク性能ではなく、実アプリに基づくチャレンジングで厳しい競争となった評価プロセスを経てNERSCがわれわれを選んだことは大きな誇りである。Crayの提供する適合的スーパーコンピューティングにより、多くのHPCセンターがCray社のマシンを導入している。NERSCもその一員となったことは大変喜ばしい。」

2006年11月、Horst Simonは後任者が決まり次第、NERSC所長の職を辞すと発表した。かれは1996年初めから所長を務めていた。かれはLBNL内で他に2つの重要な職務、「コンピュータ科学担当副所長」および「計算科学研究部門部門長」を兼務しており、そちらに力を注ぎたいとのことである。2007年10月29日、UC Berkeleyのコンピュータ科学教授のKatherine (Kathy) Yelick（線形計算のJames Demmel教授夫人）がNERSCの新所長に指名された。着任は2008年1月（2012年まで）。

6) SciDAC
2001年度予算の中で、DOE, Office of Scienceは公募制の資源提供プログラムSciDAC (Scientific Discovery through Advanced Computing)を当初5年計画で開始した。テラスケールからペタスケールに発展するなかで、SciDACは2006年にさらに5年延長された。

2006年9月、DOEは、今後3年ないし5年の間に$60M相当の資源を30件の計算科学プロジェクトに提供すると発表された。採択されたプロジェクトの一覧は年次が分からないが、ORNLは5件、PNNLは1件、Rice大学は3件などが採択されたと報道されていた。

7) NSF
2001年8月、NSF (National Science Foundation)は、NCSA, SDSC, ANLおよびCACR (Caltech)の4機関に$53Mを投じ、分散的テラスケール環境DTF (Distributed Terascale Facility、通称TeraGrid)を構築し、40 Gb/sの光ネットワークで結合すると発表した。TeraGridはさらに拡大した。

2006年10月、NSFはテキサス大学オースチン校にあるTACC (the Texas Advanced Computing Center)に、スーパーコンピュータを購入し、運用するため5年間に$59Mの予算を付けたと発表した。ニュースによると、NSFはHPC System Acquisition Programとしえ募集を行い、テキサス大学がSun Microsystems、Arizona州立大学、Cornell大学のCornell Theory Centerと共同して提案した計画が採択されたとのことである。2007年になって公表されたところでは、NSFは

Track 1: A Leadership-Class System
Track 2: Mid-Range High-Performance Computing Towards the Petascale

から構成される設置計画をたて、テキサス大学のシステムはTrack 2の一つということである。

運用開始は2007年6月1日の予定で、2007年10月には最終構成のシステムとなる。最終構成では、400 TFlopsを超えるピーク性能と100 TBのメモリ、1.7 PBのディスクを持つ。システムはSun Fire x64 (x86, 64-bit)サーバを多数結合したもので、AMDのquad-coreプロセッサを13000個搭載する。筆者はこれを聞いて東工大のTSUBAMEの上位機かと思った。ただし、アクセラレータは含まれていない。MSFとの契約により、計算時間の5%は産業利用に使われる。また別の5%はテキサス州内の教育研究機関に割り当てられる。後にRangerと名付けられた。Texasなので。

8) NCAR
2006年6月に、NCAR (The National Center for Atmospheric Research、アメリカ大気研究センター)がTeraGridに加わることが発表された。NCARは計算資源だけでなく、膨大な気象データも提供する。NCARは、国土交通省傘下にある日本の気象研究所とは違い、NSFから資金を得て、非営利団体UCAR (University Corporation for Atomospheric Research)が運営している。

2006年11月3日、NCARはICESS（Integrated Computing Environment for Scientific Simulation）の第1段階に、IBMのPOWER5+ (1.9 GHz)を搭載したスーパーコンピュータblueiceを採用したと発表した。IBMのblueiceはSMPノードのSystem P5でノード数は575。メモリは4 TB。稼働は2007年2月の予定。2006年11月のTop500に登場し、1696コア、Rmax=10.6 TFlops、Rpeak=12.8896 TFlopsで55位にランクされている。2007年6月からはRmax=11.08 TFlops。2008年6月の第2段階ではPOWER6+プロセッサを搭載する見通し。

9) DARPA (HPCS Phase II)
2002年から始まったDARPA (Defense Advanced Research Projects Agency)のHPCS (High Productivity Computing Systems プロジェクトは、国家安全保障と産業業界のための、経済的で生産性の高い次世代コンピューティングシステムの開発を目指すプログラムである。このプログラムは、日本電気の「地球シミュレータ」が世界最強のコンピュータとなり、米国がスーパーコンピューティングの分野における技術的な優位性を失うのではないかと危惧された時代に発足した。2003年のPhase IIではIBM、Cray、Sun Microsystemsの3社（とMIT Lincoln Laboratory）に絞られていた。近々Phase IIIに入り、2社に絞られる。

Cray社は、Cascadeと呼ばれるシステムを開発していた。これはヘテロなプロセッサ・アーキテクチャを使い、Crayの適合型計算モデルを軸に設計する。

IBM社はPOWERプロセッサに基づくPERCS (Productive, Easy-to-Use, Reliable Computing System)と呼ぶアーキテクチャを開発している。最初の成果は2007年前半にも公表し、2011年中頃にはPFlopsレベルのシステムが登場する。

Sun Microsystems社は、シリコン光結合や、チップ同士が配線を使わずに直接信号をやりとりする接触通信（Proximity Communication）技術などの革新的な技術をHeroと呼ばれるシステムに統合する予定である。高いバンド幅、低いレイテンシ、高レベルの耐故障性、統合されたツール群などによりユーザを支援する。

最終的に2社を選択するが、落ちるのはどこか、Sunか？　5月6日、例のHigh-End Crusaderという匿名のコメンテータが、HPCwireに長い記事を書き、日本のヘテロな10 PFのシステムはとても実現するとは思えないが、HPCSはちゃんとできる、と論じた。

このころ、HPC言語の重要性が強調されていた。HPC　ChallengeのClass 2は、この動きの中から企画されたものと思われる。

Phase IIIの最終2社は、SC06で発表されるかと思われたが、その次の週、感謝祭休暇で皆いなくなった頃に発表された。当初の予定より5ヶ月遅れている。米国時間11月21日、DARPAはHPCS Phase IIIに参加する企業として米Cray社と米IBM社の2社を選んだと発表した。案の定Sun Microsystemsは落ちた。4年間の研究資金として、Cray社には$250M、IBM社には$244Mを支給する。両社には、政府資金の1/3以上の自己資金投資が要求されている。この資金は、IBMにとっては弁当代みたいなもんだが、Crayにとっては一財産だ、という見方もあった。

HPCSはピーク4 PFlops、実効2 PFlopsのスーパーコンピュータの開発を目標とし、ソフトウェア・ツールやプログラミング環境の開発にも取り組む。また、演算速度1 PFlops以上の試作機を2010年12月までに完成させるよう求めている。

10) MHPCC
アメリカ空軍の研究機関であるMHPCC (The Maui High Performance Computing Center)は、ハワイ大学が運営を委託されているが、これまでIBM SP2やPower3やp690などIBM機が主力であった。2006年8月、Dell社のスーパーコンピュータを導入する契約を結んだと発表した。これは5120プロセッサのDell PowerEdge 1955システムで、プロセッサはIntelのdual-core Woodcrest (3 GHz)で、4コアのノード1280個から構成されている。相互接続はInfiniBandである。ピーク性のは60 TFlopsである。

2006年11月のTop500では、Jawsと名付けられ、コア数5200、Rmax=42.39 TFlops、Rpeak=62.4 TFlopsで11位にランクしている。

次回は世界の学界の動きである。

(画像：IBM Blueice　　出典：UCARニュースリリース　）