世界のスーパーコンピュータとそれを動かす人々


3月 12, 2018

HPCの歩み50年(第154回)-2008年(g)-

小柳 義夫 (高度情報科学技術研究機構)

LANLのRoadrunnerはCell B.E.で史上初のPFlopsを達成した。SNLのRed Stormは、プロセッサの一部をdual-coreからquad-coreにアップグレードすることにより、性能が倍増した。NSF関係ではTACCのRangerが正式稼動した。

アメリカ政府の動き

1) NNSA
NNSA(国家核安全保障局National Nuclear Security Administration)はDOEに即した組織で2000年に設立された。軍による核エネルギーの使用を通して国家の安全を発展させることを目的とする。米国内の核兵器の安全性・信頼性・機能性を、核実験を行うことなく、計画・製造・テストなどを通して維持・発展させる。2008年3月7日、NNSAは5カ所の新しいCOEを選定したと発表した。それは以下の5カ所で、Predictive Science Academic Alliance Program (PSAAP) agreementにより、それぞれ5年間に$17Mの資金を供与される。

a) California Institute of Technology: The Center for the Predictive Modeling and Simulation of High-Energy Density Dynamic Response of Materials
b) University of Michigan: The Center for Radiative Shock Hydrodynamics (CRASH)
c) Purdue University: The Center for Prediction of Reliability, ntegrity and Survivability of Microsystems (PRISM)
d) Stanford University: The Center for Predictive Systems of Multi-Physics Flow Phenomena with Application to Integrated Hypersonic Systems
e) University of Texas at Austin: The Center for Predictive Engineering and Computational Sciences (PECOS)

2) DOE (INCITE)
DOEの主宰する公募制の資源提供プログラムINCITE (the Innovative and Novel Computational Impact on Theory and Experiment)は、2008年1月17日、2.65億processor-hourの計算資源を55件のプロジェクトに割り当てた。採択された課題は、大学や国立研究所関係が多いが、産業界も含まれている。資源提供はNERSCから1040万processor-hour、ORNLから1.45億processor-hour、ANLのBlue Gene/Pから1.11 億processor-hourなど。

3) LANL

DOEは、2008年6月9日、世界で初めてPetaflopsを越えるスーパーコンピュータRoadrunnerをIBM社と共同開発したと発表した。これは、BladeCenter QS22/LS21のクラスタで、Dual coreのAMD Opteron 1.8 GHzを6948個と3.2 GHzのPowerXCell 8iを12960個搭載している(CellはOpteronのコアと対応しているはずなので数が合わない)。接続はInfiniband。Linpackで1.026 PFlopsを実現し、6月のTop500で堂々1位を獲得した。これはASC(旧ASCI)プロジェクトの一環で核兵器の維持管理のためのシミュレーションに用いる。開発費は約$133M(約140億円)とのことである。現在はPoughkeepsie (New York)のIBM工場にあるが、近くLANLに設置する予定である。[写真はDeseret Newsから]

1999年2月15~19日にSanta BarbaraでPETAFLOPS IIが開催され筆者も出席したが、当時Petaflops実現には3つの可能性があると言われていた。

(a) 通常のプロセッサの微細化の延長線上、
(b) PIM(プロセッサとメモリを同一チップ上に)、
(c) HTMT(超伝導で200 GHzのクロックを実現)。

Cell B.E.は、まあPIMの一種と考えることができる。2008年11月のTop500で1 PFlopsを越えたJaguarは(a)であるが、1999年当時一番人気の高かった(c)は結局実現しなかった。

4) SNL
SNL (Sandia National Laboratory)では、2002年ごろから地球シミュレータに対抗するためにASC (Advanced Simulation and Computing)の一環であるASCI Redの後継としてRed StormというMPPが開発されていた。2005年に動き出し、順次アップグレードされてきた。2008年2月6日、Cray社はSNLと合意が成立し、Red Stormの性能を今夏増強すると発表した。一部をdual-coreからquad-coreにアップグレードすることにより、ピーク性能を124 TFlopsから284 TFlopsに増強する。11月のTop500では10位であった。これは最後の増強である。Top500に見るRed Stormの進化は、2004年のところにも示したが、ここに再掲する。

日付 順位 プロセッサ コア数 Rmax (TFlops) Rpeak (TFlops)
2005/6 10 2.0 GHz 5000 15.25 20
2005/11 6 2.0 GHz 10880 36.2 43.5
2006/6 9 2.0 GHz 10880 36.2 43.5
2006/11 2 2.4 GHz dual 26544 101.4 127.4
2007/6 3 2.4 GHz dual 26544 101.4 127.4
2007/11 6 2.4 GHz dual 26569 102.2 127.5
2008/6 13 2.4 GHz dual 26569 102.2 127.5
2008/11 10 2.4 dual / 2.2 quad 38208 204.2 284.0
2009/6 13 2.4 dual / 2.2 quad 38208 204.2 284.0
2009/11 17 2.4 dual / 2.2 quad 38208 204.2 284.0
2010/6 21 2.4 dual / 2.2 quad 38208 204.2 284.0
2010/11 31 2.4 dual / 2.2 quad 38208 204.2 284.0
2011/6 36 2.4 dual / 2.2 quad 38208 204.2 284.0
2011/11 50 2.4 dual / 2.2 quad 38208 204.2 284.0
2012/6 82 2.4 dual / 2.2 quad 38208 204.2 284.0

 

5) ORNL
2008年2月1日、ORNL (Oak Ridge National Laboratory)の計算および計算科学担当副所長のThomas Zachariaは、NCAR (National Center for Atomspheric Research)のJames J. Hack上級研究員をORNLのNCCS (National Center for Computational Sciences)のセンター長に任命したと発表した。Jim Hackは1991年のJapan-US Workshop for Performance Evaluationに参加するなど我々とも縁の深い気象学の研究者である。1980年にColorado州立大学でPh.D.を授与されたのち、IBM Thomas J. Watson研究所の研究員を務め、1984年にNCARに移った。

ORNLはJaguarとして2005年にCray XT3を導入し、2007年にはXT4にアップグレードした。2008年9月25日、ORNLはXT5の最初のキャビネットが到着したと発表した。Jaguarの進化については、2004年に示したが、再掲する。2008年11月にはRmaxでPFlopsに達し2位となった。

初出 順位 機種 コア数 Rmax (TFlops) Rpeak (TFlops)
2005/6 11 Cray XT3, 2.4 GHz 3748 14.170 17.990
2005/11 10 Jaguar-Cray XT3 2.4 5200 20.527 26.960
2006/11 10 Jaguar-Cray XT3 2.6 dual-core 10424 43.480 54.2048
2007/6 2 Jaguar-Cray XT4/XT3 23016 101.700 119.350
2008/6 6 Jaguar-Cray XT4 2.1 quad-core 30976 205.000 260.200
2008/11 2 Jaguar-Cray XT5 2.3 quad-core 150152 1059.0 1381.4
2009/11 1 Jaguar-Cray XT5 2.6 6core 224162 1759.0 2331.0
2012/6 6 Jaguar-Cray XK6 2.2 16core + NVIDIA 2090 298592 1941.0 2627.61

 

6) Blue Waters
2007年のところに書いたように、NSFは2007年8月7日声明を出し、NSFが”Track 1”として募集していた世界最強のスーパーコンピュータの購入と運用の予算を承認したと発表した。Illinois大学Urbana-Champaign校(UIUC)は、“Blue Waters”と呼ばれるPetascaleのコンピュータを購入するために4.5年間に$208Mを授与する。システムは2011年に運用状態に入ることを期待している。日本の次世代スーパーコンピュータにちょうどぶつかるタイミングである。Blue WatersはThomas Dunning博士の指導の下NCSA (the National Center for Supercomputing Applications)が運用し、the Great Lakes Consortium for Petascale Computationに属する学界や産業界のパートナーが協力する。

ところが厳重な箝口令が敷かれているらしくほとんど情報が流れて来なかった。日本IBMの項で述べたように2008年9月11日に日本IBMの箱崎事業所(東京)でIBMのHPC Forumがあり、その中でUIUC NCSAのDeputy DirectorのRobert L. PenningtonがBlue Watersについて講演した。講演によると:

a) SustainedでPetaflops以上
b) 稼働予定2012年6月30日
c) Power 7 base — 200,000+ cores, 32 GB/SMP
d) 10 PB disk, 100 Gb/s external link
e) 電力 5 MW
f) 来月には建物の起工式

とのことであった。これでは何が何だかわからないので、筆者が”May I ask you how many cores are included in one SMP node?”と聞いたら、「大変重要な質問だが、答えることはできない」とはぐらかされてしまった。日米とも隠蔽モードになってきている。

7) TACC (Ranger)
NSFのTrack 2の一つであるTACC (the Texas Advanced Computer Center)のRangerは、2007年11月のTop500には間に合わなかったが、2008年1月からフル稼動すると2007年12月11日に発表があった。Sun Microsystemsが開発し、quad-core Opteron (コード名Barcelona)を4基搭載したノード3936台をInfiniband Magnum Switchで結合したマシンで、ピーク504 TFlops、メモリ125 TB、ディスク1.7 PBとのことである。実際には、2008年2月4日に正式稼動した。Barcelonaには有名なTLB問題があったが、対策を施したLinuxを用い、性能への影響も少なかった。Rangerの当初計画ではBarcelonaが間に合いそうにないので最初の6ヶ月はdual-core Opteronを使う予定であったが、Sun Microsystems社はがんばって最初からquad-coreを実装した。予想されるアプリは、QCD、地震、気候、材料科学、天体物理学、計算流体力学、バイオインフォマティックス、科学、物理、地球科学などである。このコンピュータはTeraGrid中で最大の資源であるが、NSFの資金によって作られたので、“Open Science”であれば、アメリカ国内はもちろん、海外の研究者も(アメリカの組織との共同研究であれば)利用できる。2月22日に開所式典が行われた。6月のTop500においてRmax=326 Tflopsで5位を獲得した。4月、The MILC (MIMD Lattice Computation) Collaborationのメンバーの一人であるRobert Sugar (UCSB)は早速QCDシミュレーションにより標準模型に関する疑問を解明すると意気込んでいた。

8) Tennessee (Kraken)
もう一つのNSF Track 2のマシンとして$65Mの予算を受けたTennessee大学を中心とするKrakenはどうなったであろうか。Cray社は2008年4月3日に、Tennessee大学NICS (the National Institute for Computational Sciences)にMPPを設置すると発表した。これはquad-core AMD Opteronを搭載したCray XT4である。設置場所はthe University of Tennessee-Oak Ridge National Laboratory Joint Institute for Computational Sciencesということになっているが、実際はORNLの広い計算機室にJaquarと並んで設置されている。2009年にはさらにアップグレードする予定。

Krakenは、現在公開されている2008年6月Top500において、Rmax=463.3 TFlopsで3位にランクされている。なお、このリストでは機種名はXT5で、相互接続網はXT4 Internal Interconnectとなっている。

9) NSF Track 2
TACC(Texas大学)とNICS(Tennessee大学)に次ぐ、Track 2の第3弾は、LSU (Luisiana State University)やSDSC (San Diego Supercomputing Center)などが応募していたようであるが、5月頃、PSC (Pittsburgh Supercomputing Center)に決まったと噂があった。詳細は手元に資料がない。PSCはBigBen以降、Top500にはエントリーしていない。(どなたかご存じのかたはお知らせください)

10) DOD
HCwireによると、4月頃DARPA (the Defense Advanced Research Projects Agency)は次世代MPPのための光接続技術を開発するためSun Microsystemsに対し5年半に$44.4Mの契約を結んだ。競争相手は、Intel/HPとIBMとMITであった。Sunはシリコン光素子のベンダであるLuxteraおよびKoturaと共同する。アカデミアからはStanford大学やUCSDが協力する。2002年から始まったDARPAのHPCS (High Productivity Computing Systems)プロジェクトは2006年11月21日、Phase IIIに参加する企業として、Cray社とIBM社の2社を選び、Phase IIに参加していたSun Microsystems社を落とした。Sunはシリコン光結合や、チップ同士が配線を使わずに直接信号をやりとりする接触通信(Proximity Communication)技術などの革新的な技術をHeroと呼ばれるシステムに統合する予定であった。この技術をすくい上げる計画と見られる。

11) NASA
NASA(米国航空宇宙局)も負けてはいない。NASAとIntel社とSGI社は2008年5月7日、NASAのスーパーコンピュータの性能向上に向け、協力することで合意したと発表した。3者は、NASA AMES研究所のNAS (NASA Advanced Supercomputing) でのモデリングおよびシミュレーション能力向上のためのプロジェクトPleiadesで協力する。2009年までにピークで1 PFlops、2012年までに10 PFlopsのシステムを開発する予定である。

12) New York State Grid
ニューヨーク州には、Stony Brook大学とBNL (Brookhaven National Laboratory)が共同運用する103 TFlopsのBlue Gene(愛称New York Blue、2008年6月のTop500で18位)と、Rensselaer Polytechnic Institute が運用する90 TFlopsのBlue Gene(同23位)があり、ナノテク分野では共同研究をおこなって来た。2008年1月28日、これらの3組織は、エネルギー、バイオテクノロジー、医学など広い分野の研究のためにNYSGridを通して資源を提供すると発表した。

13) New Mexico Computing Applications Center (NMCAC)
昨年11月のTop500で3位に輝いたNMCAC (New Mexico Computing Application Center)のSGI Altix ICE 8200は、2008年1月28日ニュー・メキシコ州のBill Richardson知事は正式稼働を宣言した。知事はこう述べた。「ニュー・メキシコ州はハイテク経済を発展させようと真剣に考えている。この強力なコンピュータのニュースが広がるにつれて、いろんな会社や組織がこのプロジェクトに参加する意志を表明している。」

14) Ed Oliver死去
1990年代初期に、ORNLのOffice of Laboratory Computingを創立し自らその責任者となったCarl Edward Oliver氏は、2008年7月22日に肝臓がんのため死去した。享年65歳。氏はORNLのあとDOEのASCR (Office of Advanced Scientific Computing Research) で勤務し、副局長を務めている。筆者もいろいろな機会にお会いしている。Gary M. Johnsonの追悼文参照。

標準化

1) 浮動小数表現
浮動小数点数の世界標準IEEE 754 (IEEE Standard for Floating-Point Arithmetic)は、1985年に制定され、基数非依存の浮動小数点演算の標準規格 IEEE 854-1987(基数非依存といっても基数2と基数10のみ)が1987年に制定されたが、両者を統合する形で23年ぶりに改訂され、2008年8月29日にIEEE 754-2008が公表された。ISOとIEEEとの協定により、ISO規格としても採用された。

この規格から16ビット浮動小数点数(半精度実数)が、「演算用ではなく、(グラフィックデータなどの)交換形式」として導入されたが、最近deep learningにおいて、演算用として多用されている。

2) OpenMP 3.0
2008年5月12日、OpenMP Version 3.0が公開された。新たにtaskの概念やtask constructが導入された。早速、Intel compiler、Sun Studio Express、PGI compiler、IBM compilerでサポートされた(11月現在)。GCCでのサポートも進んでいる。

3) OGF
OGF22は、2008年2月25日~28日にマサチューセッツ州CambridgeのHyatt Regency Cambridgeで開催された。グリッド協議会第23回ワークショップ・第5回Grid Hotline(2008年3月19日)において、OGF22やOGFの動向について報告されている。

OGF23は、2008年6月2日~6日にスペインバルセロナのBarcelo Sants Hotelで開催された。グリッド協議会第24回ワークショップにおいて、伊藤智がOGF23について報告を行っている。筆者はOGF22/23には参加しなかった。

OGF24は、2008年9月15日~19日、シンガポールBiopolisのThe Matrix Buildingにおいて開催された。筆者はこれにも参加しなかったが、同時開催されたGrid Asia 2008には参加し、19日9時から開かれたHPC Leadership Forumにおいて“A Global Perspective on Parallel Processing Research for Scientific Computing in Japan”と題して講演を行った。またこのフォーラムの最後のパネル討論会においても発題を行った。

4) グリッド標準化調査研究
2007年に書いたように、産業技術総合研究所グリッド研究センターは、経済産業省情報電気標準化推進室及び日本規格協会情報技術標準化研究センター(INSTAC)から、2005年度から3年間の予定でグリッド技術のガイドライン標準化調査研究活動の委託事業を受けた。グリッドコンピューティング標準化調査研究員会を立ち上げ、筆者が委員長を仰せつかった。幹事は産総研の伊藤智氏。グリッドコンピューティング国際標準化調査研究委員会を親委員会とし、その下のグリッドコンピューティング標準化調査研究委員会で実務を行った。2008年3月には、3年間の年活動報告書をまとめた。これに基づきJIS原案を作成したが、用語の定義について委員の間の意思統一に時間が掛かった。

4月1日付けで産業技術総合研究所の組織変更があり、グリッド研究センターは発展的に消滅し、情報技術研究部門に吸収合併された。3月下旬にグリッド標準化事業は国の基準認証事業として公募され、「グリッドをJIS化する」という事業を産総研との共同で行うとしてINSTACから4月2日に応募し、採択された。成果目標として、JISの原案を作成し、OGFやISOでの国際標準化に向けて活動することが要求された。7月から活動を始め、集中的に議論を進め、グリッドシステムのガイドラインをまとめるとともに、英語版をOGFに提出した。ガイドラインをJISのフォーマットに書き直すのと並行してOGFをやりとりを進め、“Guidelines of Requirements for Grid Systems v1.0”は、11月にOGFでのdocument processでPublic Commentの期間に入った。フォーマットの調整には多くの時間を要したが、2009年12月7日の会議でJISとして承認された。最終的には、2010年2月22日に「JIS X7301 グリッドシステム要求事項策定のための指針(Guideline for designing requirements of grid systems)」として制定された。ちなみに、この日は平成22年2月22日で2のぞろ目であった。

グリッドを国の規格(de jure)にするなど空前絶後であろう。

5) Open XML
Microsoft社は、2008年4月1日、Office 2007で採用している文書ファイル形式“Office Open XML(Open XML)”が、国際標準化機構(ISO)と国際電気標準会議(IEC)による合同技術委員会で標準として承認されたと発表した。April foolかと一瞬おどろいた。Open XMLは、2006年12月に標準化組織のECMA Internationalによって承認され、ECMA InternationalがISO/IECにOpen XMLの規格案を提出。これまで議論が重ねられてきていた。一方、Office Open XMLの対抗馬とされる“OpenDocument Format”(Sun Microsystems社などが推進)は、2006年にISO標準として認められていた。EUの競争監視機関である欧州委員会は2008年1月、Microsoft社のビジネス手法に関する調査を開始した際、Office Open XMLが競合他社製品との十分な相互運用が可能かどうかも検証すると述べており、反トラスト法の調査が進められている。

6) PDF
Adobe SystemsのPortable Document Format (PDF 1.7)が2008年7月2日に、国際標準化機構(ISO)によって新たな標準ISO 32000-1:2008として認証された。この認証は、Adobe社がPDF仕様を企業コンテンツ管理に関する非営利組織AIIM (Association for Information and Image Management)に公開し、ISO認証への道筋を開いてから1年半後のことである。

次は国際会議。だんだん数も増えているので、筆者が参加した会議や有名な会議などを中心に。招待講演の講演者やテーマに、当時の問題意識がうかがえる。

(画像:Roadrunner)

left-arrow 50history-bottom right-arrow