HPCの歩み50年（第199回）－2011年(k)－

イリノイ大学のNCSAで建設中であったスーパーコンピュータBlue WatersからIBM社が撤退し、Cray社が後を継いだ。背景には何があったのか？　NSFはTeraGidの後継として、公募制の資源提供プログラムXSEDEを開始した。

アメリカ政府の動き

1) America COMPETES Act
2007年に、America COMPETES Act (America Creating Opportunities to Meaningfully Promote Excellence in Technology, Education, and Science Act of 2007) (P.L. 110-69)が議会で採択され、8月9日にGeorge W. Bush（子）大統領が署名し法律となった。 2010年5月29日、下院がこのAmerica COMPETE Actを再確認する措置を承認し、2010年7月22日、上院の「商業・科学・運輸委員会」がこれを承認し、本会議に送った。2011年1月4日、Obama大統領がこれに署名し、America COMPETES Reauthorization Act of 2010 (P.L. 111-358)が成立した。内容は、研究開発によるイノベーションに投資することにより、アメリカ合衆国の競争力を改良しようということである。

2) 一般教書演説
Barack Obama大統領は、2011年1月25日、就任後2回目となる一般教書演説(State of the Union address)を行い、技術革新のために積極的な投資を行う、と述べた。

未来は我々の勝利に終わる。そのためには、すべての世代の献身、奮闘、新時代のニーズに応えることが要求される。米国は技術革新、教育、インフラ整で他国をしのぐ必要がある。我々は財政赤字に責任を負い、政府を改革しなければならない。それが米国民の繁栄、未来に勝利する道だ。

勝利へ向けた第１の段階は、技術革新の奨励だ。我々にできるのは、国民の創造性と想像力を刺激することである。半世紀前、ソ連が（世界初の人工衛星）スプートニク１号を打ち上げて我々を負かした時、米国にはNASA（米航空宇宙局）も存在しなかった。だが、研究と教育への投資の結果、我々はソ連を打ち負かしただけでなく、新規産業と数百万の雇用を生み出す技術革新を実現した。（毎日新聞より）

米国はGoogleとFacebookを生んだ国だ。イノベーションは米国民の生活を変えるだけでなく、生活の手段なのだ。5年以内に、米国民の98％が利用できる次世代高速無線ネットワークを企業が導入できるようにする。これは、単にインターネットの高速化や通話体験の向上だけでなく、米国全土をデジタル時代に招くことを意味する。（ITmedia）

また競争相手としてヨーロッパや日本は言及せず、「中国やインドなどは、科学と数学に重点をおいた早期教育を行い、研究や新技術に投資している。中国は今や世界最大の太陽光研究施設を誇り、世界最速のコンピュータも有する」と指摘した。（産経新聞）

3) NSF (XSEDE)
NSFはe-Scienceインフラストラクチャとして、2001年TeraGridを開始し、2004年度から（つまり2003年10月から）5年の計画で運用を開始した。2009年半ば、NSFはTeraGridの運用を2011年まで延長することを決定した。

2011年5月、TeraGridを継承するプロジェクトが承認され、17の機関でXSEDE (the Extreme Science and Engineering Discovery Environment) を構成した。NSFは5年間で$121Mの予算をつけた。

4) NCSA (Blue Waters)
夏休みに入り、我々が「京」コンピュータの部分稼働によってTop500のトップ奪還に酔いしれているとき、飛んでもないニュースが飛び込んできた。イリノイ大学のNCSA (National Center for Supercomputer Applications)は、2011年8月8日、開発中のスーパーコンピュータBlue WatersからIBM社が撤退すると発表した。契約解除は8月6日付。

Effective August 6, 2011, IBM terminated its contract with the University of Illinois to provide the supercomputer for the National Center for Supercomputing Applications’ Blue Waters project.

IBMとNCSAの共同声明には次のように記されている。「IBMが最終的に開発した革新的な技術は、非常に複雑であり、当初の見込みより大幅に多くのIBMによる財務的および技術的な支援を必要とするものだった。NCSAとIBMは、プロジェクトへのIBMの参加継続に向けたさまざまな案を密接に協力して検討したが、今後の計画について合意に達することができなかった」予算増を要求して断られたのであろうか。

POWER7 があまりに複雑で高機能（たぶん、高価格）になったので、イリノイ大学の要求と合わなくなった、とある。ネットワークも複雑だったようである。この契約は建物等も含み総額$208Mと推計されている。Blue WatersはPOWER7プロセッサを搭載し、アプリケーションでの実効性能が1 PFlopsと称し、ピーク性能やLinpack性能を公表していないが、おそらく「京」コンピュータと互角ではないかと噂され、Sequoiaとともに有力な強敵と考えられていた。契約は2008年から4年間で、完成予定は2012年であった。IBM社は、突然、はっきりした理由もなしに、契約破棄を通告したようである。中間評価や事業仕分けではないとのことである。IBMはすでに3ラックをNCSAに納入していたので、NCSAは3ラックを返却し、IBMはその代金$30Mを返却するとのことである。

日本にトップを一時取らせて、がっちり予算を獲得する、という路線がうまくいっていると思っていたのに、撤退したのでは本も子もない。もちろん、POWER7自体はやめたわけではない。

Blue Watersを設置する予定のNational Petascale Computing Facilityという建物は、すでに完成し、2010年6月には近隣の住民に対する見学会を開催している。50億円掛かったそうで、写真を見ると、そうとう贅沢なつくりのようである。

元IBMの副社長で、現在Cray社社長のPeter Ungarro氏が、「おれの時ならアリエナーイ」とつぶやいたとか。何がありえないのかは明らかではないが、彼がIBMの上層部にいたら、頑張って納入したということであろうか。

筆者の勘ぐりでは、日本が6月に「京」で8 PFlopsを出し、11月には10 PFlops超えを実現しそうなので、IBMとしては無理にがんばることはない、という判断をしたのではないか。Tsubame2もいろんなアプリで1 PFlopsを出している。要するに「世界一でないと意味ない」ので手を引いたのではないか。

NCSAは他のベンダから調達して、実効1 PFlopsのマシンを新たなBlue Watersとして稼働させるとみられている。この根回しに時間がかかり、IBM撤退の発表が今まで遅れたのではという観測もあった。

11月8日～10日にポートアイランドの神戸国際会議場でCBI/JSBi 2011合同大会「計算科学の拓く新しい生命像」があり、これにBlue Watersの中心的人物であるNCSAのThom H. Dunning, Jr.氏が招待講演で招かれていた。講演のタイトルは”Blue Waters: An Extraordinary Computer to Enable Extraordinary Research”という景気の良いものだったので、ドタキャンかと関係者は気をもんでいた。直前にタイトルが”Future of High Performance Computing” に変更された。聞いた人の話では、11月8日の講演はHPCの一般的な話だったようで、それはそれで面白かったが、Blue Watersのことを聞きたい人には物足りなかった。Dunning氏やBlue Waters担当者のBill Kramer氏と個人的に話した人の情報では、調達のスケジュールは変えないということであった。「どこがやるの」と聞いたら、ニヤッとして、「そんなに会社は多くないでしょ」とはぐらかされたそうです。やはりCray社であろうか。当時、Cray社社員には「Blue Watersの件でコメントを求められたら、ノーコメントとせよ」という指令が米国本社から出ているとのことであった。

その直後、2011年11月14日、NCSAがBlue Watersプロジェクトへのスーパーコンピュータ提供に関して、Crayと契約を結んだと発表した。AMDの新しい16コアのプロセッサ（コード名Interlagos）を搭載するCray XE6が235筐体と、NVIDIA Teslaを搭載するCray XK6が30筐体というハイブリッドスーパーコンピュータとのことである。インターコネクトはGemini。

IBMと共同開発していたときも同じであるが、Linpackは目標でなく、目標は実効性能だと言い続けているようである。元々25のアプリでそれぞれの性能目標があり、それを満たすことが必要である。そのうち2つはスペクトル法であり、バイセクションバンド幅が足りなくてアルゴリズムから設計し直しているが、残りのアプリは大丈夫だそうである。

5) TACC
TACC (Texas Advanced Computer Center)は2008年2月4日から、quad-core Opteron (Barcelona)を4機搭載したノード3936台をInfiniband Magnum　Switchで結合したRangerが稼働してきた。

2011年9月、TACCはNSFから$27.5Mの予算を得て、10 PFlopsのスーパーコンピュータStampedeを導入する予定であることを発表した。Stampedeの原義は「総くずれ」「大敗走」である。不吉ではないのか？製造はDell社で、IntelのSandy Bridge-EPで2 PFlops、IntelのMICでさらに8 PFlopsとのことである。完成は2012年後半で、2013年1月から正式稼働の予定。2011年5月からTeraGridの後継であるXSEDEの重要な一翼を担う。

Stampedeの通常のノードは、Sandy Bridge-EP (8-core Xeon E5)を2個と、32 GB DRAMを搭載する。このようなノード6400台をMellanoxのFDR (56 Gbps) InfiniBandで結合する。Stanpedeには16台の大メモリノードがあり、1 TBのDRAMと2個のNVIDIA GPUを搭載する。大メモリノード全部をSMPとして動作させる可能性もある。これはビッグデータ解析に有効と思われる。

ファイルはLustreシステムを採用する。総容量は14 PBで、総バンド幅は150 GB/sである。

このシステムの予算は$25Mなので、残りの$2.5Mを使って、x86ノードにPCIe 3.0経由でMIC (KNC Knights Corner)をコプロセッサとして接続し、8 PFlopsのシステムを導入する。GPGPUとどちらが有利か議論のあるところである。MICの部分は非公開の予定である。そもそもこの段階でIntel社はまだ正式に発表していない。現時点では、Knights Ferryを1ノードのマシンにつなぎ、MIC SDK (Software Development Kit)を用いて開発を進めている。今後は、Knights Ferryを搭載したノードの小規模クラスタを構築し、年内までは分散コンピューティング環境のテストを行う。

MICの発表は2013年か、2012年後半と予想されるが、TACCには今年の秋には設置される。2年後には第2世代にMICを導入し、さらに5 PFlopsの性能向上を予定し、ピークは15 PFlopsとなる。$27.5Mは建設費で、運用には$24Mの予算（5年間？）が組まれている。

MIC（を商用に使うのも驚きであったが、Dellがペタスケールのマシンを組み立てることも驚きをもって迎えられた。

6) ANL (Mira)
2011年2月8日のHPCwireの記事によると、ANL (Argonne National Laboratory)は、来年10 PFlopsのピーク性能のBlue Gene/Qを導入するとのことである。2009年2月の発表では、20 PFlopsのBlue Gene/Q (Sequoia)が2012年にLLNLに導入されることになっているので、2番目の性能のBG/Qとなる。

ANLは2005年にピーク5 TFlopsのBlue Gene/Lを導入し、Top500では58位のランクを獲得した。2008年には500 TFlopsのBlue Gene/Pに更新し、その年には4位であった。導入予定のBlue Gene/QはMiraと呼ばれる。Miraはくじら座のο(omicron)星で代表的な脈動変光星である。

Sequoiaは、NNSA (National Nuclear Security Administration)プログラムの下で兵器のシミュレーションを行うが、Miraは気候変動、蓄電池、エンジン設計、宇宙論のようなオープンな科学研究のために利用される。DOEはすでに、最初に利用する16の重点課題を選考している。ANLのこれまでのBlue Geneと同様、MiraはDOEのINCITEおよびALCC (ASCR Leadership Computing Challenge)の資源として利用される。

7) ORNL (Titan)
ORNL (Oak Ridge National Laboratory)は、2009年にJaguar-Cray XT5 2.6 6coreで11月のトップを占め、2010年6月まで1位を保ち、2011年6月に「京」がトップを取ったときも3位を保っていた。Titan（ギリシャ神話に出てくる巨人族）へのアップグレードが計画されている。これは、CPU+GPU構成のCray XK6で20 PFlopsを狙っている。インターコネクトが次世代のGeminiにアップグレードされる。

Hisa Andoの 2011/08/15の記事によると、2011年の9月から12月に掛けて現行のシステムをXK6にアップグレードする。これは、96キャビネットと104キャビネットと2回に分けてアップグレードされる。2011年のアップグレードではGPUは試験的な導入であり、10キャビネット程度にNVIDIAのFermi GPUを使うX2090ボードが搭載される。そして、2012年の後半に、全ノードにNVIDIAの次世代GPUであるKeplerを搭載するという第2段階のアップグレードが行われる。

2011年10月11日、ONRLはTitanの構築に関してCray社と契約したことを明らかにした。具体的には、現在ピーク性能2.3 PFlopsのCray XT5システムを、ピーク性能10～20 PFlopsのCray XK6に置き換える。Cray XK6は、AMD社の16コアのOpteronプロセッサ（コード名Interlagos）と、NVIDIA社の次世代Tesler GPU（コード名Fermi）を採用する。第1段階ではノード当たりプロセッサを1基搭載し、メモリを倍増する。第2段階では7000～18000基のTeslaを設置する。アップグレードの最終段階は2012年後半に完了し、2013年から本稼働を開始する予定。

Top500では、2012年6月のCray XK6まではJaguarと呼ばれ、2012年11月にCray XK7でトップを取ってからTitanと名付けられている。

8) 米国特許制度
日本など多くの国の特許制度では、先に出願したものに特許を与える先願主義を採用しているが、アメリカ合衆国は1952年の米国特許法（35 U.S.C.、Title 35 of the United States Code）成立以来、先に発明した人に特許を与える先発明主義を採用してきた。争いになると、どちらが先に発明したかを証明する必要が生じる。　先に発明した時点が決め手となるため、審査に時間がかかり、訴訟リスクも伴うため、米国の企業の間でも、発明や技術革新を妨げているとして批判が高まっていた。他方、中小企業や個人発明家、大学は、先願主義になれば、多数の弁護士を抱える大企業が迅速に出願できるので不利になると反対していた。

2011年9月8日、先発明制度から先願制度への変更を含む特許法改正案「リーヒ・スミス米国発明法案」（Leahy-Smith America Invents Act）が米上院において可決された。先の6月に下院でも可決されていた。オバマ大統領は、2011年9月16日、バージニア州アレクサンドリアで先願主義を採用した米国特許法の改正法案に署名し、同法は成立した。2013年3月16日に施行される。オバマ大統領は声明を発表し、「新しいアイデアがすぐに新しい仕事に結びつくような仕組みが必要だ。時代遅れの特許法を改定する必要があった」として、改革の必要性を強調した。2013年3月までに順次施行されたこと等により相違点は小さくなっているが、依然として特異な制度が残っている。

9) New York州
Andrew Cuomoニューヨーク州知事は2011年9月27日、同州における次世代コンピュータ半導体技術の開発に関して大手技術企業5社（米Intel、米IBM、米GLOBALFOUNDRIES、台湾TSMC (Taiwan Semiconductor Manufacturing Company）、韓国Samsung）と提携したと発表した。5社は5年間に$4.4Bを出資する。Wall Street Journalによると、$4.4BのうちIBMが投じる金額は$3.6Bで、14nmおよび22nm製造技術に注力する。とのことである。これにより6900人の雇用の増加が期待される。ニュ―ヨーク州は、大規模半導体工場を多数有する半導体製造拠点となった。2015年には、オーストラリアの半導体メーカamsの大規模な半導体工場をNew York州Utica近郊に誘致した。

次回は、世界の学界の動きと2011年前半の国際会議。

(画像：Blue Waters　出典：NCSA）