世界のスーパーコンピュータとそれを動かす人々


1月 20, 2014

HPC電力効率とGreen500

HPCwire Japan

Kirk W. Cameron

スーパーコンピュータのエネルギー効率のランキングであるGreen500 Listは最初のリストが2007年11月に出された。共同創立者であるKirk W. CameronがGreen500リストの創設、成熟と将来の方向性について語った。

初期のスーパーコンピュータ効率“リスト”

2001年においては、グリーンHPCとエネルギー比例コンピューティングの概念は知られていなかった。電力がスーパーコンピュータにおける問題であるという具体的な証拠がなかったのだ。ベンダーは顧客の仕様に従って単に大規模なシステムを構築した。性能は指数関数的に増加し続けており、性能効率に興味が注がれ、電力効率には関心がなかった。

Green HPCにおける私の初期の作業は、電力と性能に起因するトレードオフに触発されたのだ。様々な電力モードがいかにスーパーコンピュータを効率的にするか想像した。そのような技術がHPCで計算する方法をいかに変えるのかを推測したのだ。しかし、最初の段階では、問題を探しているソリューションのようなものだった。当時、誰も電力がHPCにおいて問題となるとは信じていなかった。

データが必要だった。非常に多くのデータが、もし電力が重要であるとコミュニティに確信させるには。Top500リストは有り余るほどの性能データを提供していたが、電力に関するものはなかった。多くの大規模スーパーコンピュータシステムがオンラインでシステムのスペックを投稿していたが、情報は最高の瞬間のものであり、誰も電力を計測していないことは明らかだった。スーパーコンピュータの電力効率を改善するには、電力問題が存在することを決定的に証明しなくてはならず、私自身がシステムを計測し始めなればならなかった。これはソフトウェア人としては気が重かった。

20131120-F1-1

図1 ソース:NSF Career Proposal Submission, K.W. Cameron, July 2003

これは今ではほとんどコミカルに見えるが、図1のデータを獲得するのに4ヶ月を費やした。過去10年間の6個の異なるTop500リストより取得したトップ・スーパーコンピュータの電力効率“リスト”はこの種では初めてのものだった。恐らく最も著しい特徴は、1993年から2003年のトップシステムの電力消費量が指数関数的に増加していることだ。さらに10年の技術的な進歩にも関わらず、TMC CM-5(~12 MFLOPS/watt)の効率は、日本の地球シミュレータ(5.6 MFLOPS/watt)の2倍以上あることだ。

この傾向は明白で否定できない。スーパーコンピュータの電力は債務であり、スケーラビリティを直ぐに制限するだろう。もちろん、スーパーコンピュータの電力が基本的な制約あったとコミュニティ全般が認め始める前にほぼ4年であった。私が忍耐強いことを学んだと言いたい。

Green500リストの起源

特に最初の数年間はデータ収集と電力計測を考慮する事に多くの時間を費やした。私のチームは基盤を構築し、HPCシステムの電力使用を正確に追うためのツールと方法を設計した。新しいシステムにおける電力と性能のトレードオフについて、出来るだけ多く学ぶため、我々はフレームワークを何度も何度も移植した。また、我々は最初のパワースケーラブルなHPCシステムのプロトタイプを構築した。

スーパーコンピュータの電力効率のリストをTop500と同様に作る考えを持って、2006年にWu Fengが私に近寄ってきた。私はすでに6台のスーパーコンピュータの小さな電力効率リストを作るために4ヶ月掛かってもデータが必要であると信じる程の信望者だった。さらには、私は過去3年間、電力測定ツールキットを数世代設計していた。私のグループは恐らく最大で最も詳細なHPCの電力データを持っており、HPCシステムの電力を計測する膨大な量の経験があった。

私の主な役目は最初のリストにおいて電力計測のルールを設計することだった。他のベンチマークの方法ではシステムが賭けにでた際に簡単に損なわれることを我々は知っていた。私の電力計測の経験を基に、如何に容易に単一ノードを計測し、Linpackを実行するスーパーコンピュータの電力を推定するかを記した1セットの実行ルールを作成した。このルールは、エキスパートなくても時間とお金において最小の投資で自分の電力データをレポートできるようにすることによって、参加を奨励するように設計されていた。レポートしないシステムにには、我々はUL比率(図1参照)によってリストを埋めるようにしている。

参加を容易にすることは最高だった。Linpackベンチマークは理想的ではないが、もっとも多くのスーパーコンピュータのユーザが定期的にレポートする唯一のベンチマークだった。ワット当りのMFLOPSは理想的な測定基準ではないが、簡単にレポートできたし、エネルギー効率をハイパフォーマンス・ソリューションとして促進すると思われた。

6ヶ月の議論を経て、広範囲のコミュニティからの参加を呼びかけた。約1年後の2007年11月に最初のリストをリリースした。1回目のGreen500リストの開始はイベントとなった。あたかも脚本されたように、開始直前にデータセンターにおける電力問題は第1面のニュースとなっており、突然多くがスーパーコンピュータはもっとエネルギー効率的である必要があると賛成したのだ。

リストを取り上げ、上位ランクのシステムを絶賛する一方、低ランクのシステムをあざ笑った者もいた。剥奪されたことに不平を言った者もいた。我々の方法と測定基準を嘲笑した者もいた。コミュニティの参加が欠如しているとか、他のリスト、ベンチマークや政府機関との調整がなかったとか問題視する者もいた。

Green500リストの成熟

初期の対話や報道機関のほとんどがGreen 500リストの必要性を肯定する一方、いくつかの有効な批判は重要な改善につながった。例えば、最初のリストにレポートされなかったユーザの計測値を含んだ更新リストを2008年初頭にリリースした。その後のリストではエネルギー効率のみに焦点をあてた情報の量を制限した。その後、他のベンチマークと測定基準の潜在的利用を調査するための研究資金を得たのだ。

リストが成熟してくると、我々はユーザからのフィードバックを活発に求めた。この成果としてLittle Green500のような追加のリストとなった。Green500へのエントリーには世界の高速システムの500位に入らないとならないが、Little Green500ではTop500リストの過去3世代の最も低速なシステムまで定義を広めている。このリストのゴールは小規模のシステムを展開するユーザにも効率情報を提供することにある。

Green500は初めは少し隔離されていたが、今ではエネルギー効率を推進する活動家達で繁栄するコミュニティーの一部となっている。気候セーバー・コンピューティング・イニシアティブ、グリーン・グリッドおよびエネルギー効率HPCワーキング・グループは、HPC設計、調達や管理における第一級の制約事項であるエネルギー効率を確実にする率先するグループである。例えば、エネルギー効率HPCワーキング・グループはGreen500の測定方法における限界を確認するのに尽力した。かれらはこれらの問題点を洗い出し、将来採用できる測定方法の改良を提案するのに膨大な時間と労力を費やした。
また彼らは、調達プロセスにおけるエネルギー効率の評価のための標準的な手法を確立するために、エネルギー省とベンダー間での議論を始めるためのパイプ役にもなった。

Green500の遺産と未来

Green500が遺したものは、首尾一貫して学習し易い電力計測の実行ルールを確立したことと、その結果のデータだ。Green500以前にはスーパーコンピュータの電力を計測する広く受け入れられた方法は無く、年毎のエネルギー効率の軌跡もなく、そのため効率的な設計を助長することもなかった。Green500における電力測定方法は、スーパーコンピュータの電力データを収集するための標準化された方法に基盤を置いて、ほぼ7年間ほとんど不変であった。方法は常に改良することができる。例えば、
TOP500の場合、過当競争を防ぐために長年にわたって実行規則を微調整している。しかし、首尾一貫して学習し易い実行規則を早い段階で確立したことにより、Green500の危機的な初期において、公正性と安定性をもたらした。

実行規則の安定性は年毎の効率データの傾向を一貫して解析することを可能にした。この傾向はいくつもの興味深い結果を導いたのだ。

私はHorstに賛成する。効率が維持されると仮定すると、1993年当時のTMC CM-5システムは、2007年11月開始当時のGreen500リスト上では493位となる。このランクは地球シミュレータ(497位)とASCI Q(500位)よりも優れている。1993年から2007年において、最高速システムのワット当りのMFLOPSは12から357となった。2007年から2013年においては、最高速システムのワット当りのMFLOPSは357から3208となっている。

20MWのエクサスケールシステムにおいてはワット当り50,000MFLOPSが要求される。効率の傾向が1993年から2007年と同じように継続した場合、20MWのエクサスケールシステムは約22年後に達成される(2035年)。過去6年間においてはアクセラレータを使って飛躍的に効率が向上した。アクセラレータによる新たな技術によってさらなる効率の加速があるとすれば、エクサスケールシステムを20MWで達成するのは9年後になる(2022年)。おおかたの予測では適度な改善によって、おおよそ2025年までに20MWのエクサスケールが実現するだろう。これは20MWエクサスケールを2020年までとする目標とはかけ離れている。

いかさま。Green500が我々には無かった情報を与えてくれている一方、システムのコンポーネントにおける電力経費に関する情報はほとんどない。トータルな電力を知る一方で、電力がどのようにシステムに渡って消費されているかを知る事は調達決定において重要だ。電力経費の主なものは、GPU、メモリ、CPU、ディスク、それともネットワーク?Green500のほとんどのシステムはスケールに合わせて組み立てるコモディティ部品から構築されている。もし、本当に効率を考慮し、情報に基づいたデザイン決定ができるならば、我々は大規模なシステムにおいて電力がどこに消費されているかの詳細に関する多くの洞察が必要だ。ディスクアレイを大量に持つシステムは、GPUを大量に持つシステムより電力は多いのか、少ないのか?私には本当にわからない。そして、私は10年以上電力の研究をしている。

HPCは電力管理を受け付けるのか?電力管理の利点は明らだ。エネルギーを節約する。性能の損失無しにエネルギーの節約を達成することを示す作業は多い。それにも関わらず、ほとんどのスーパーコンピュータはすべての電力管理をオフっている。裏側ではインテルのTurbo Boostのような電力管理技術は温度上限まで性能を最大に出す事が可能だ。実際、ドイツ・ミュンヘンのSuperMucスーパーコンピュータは初期のベンチマークにおいてTurbo boostを使い、Linpackの結果を歪めたために、コミュニティの何人かに責め立てられた。

過当競争を静めるためのベンチマーク方法を採用する試みは歓迎だ。効率を改善する技術効果を無効化するようなベンチマーク方法を採用する試みは逆効果であり、最終的に無駄だと信じる。システムは日々複雑さを増している。すべての世代において、システムは大規模になり、さらなる部品と並列化を持ち、さらに自主性を有している。プロセッサは自らを窒息させ、メモリやGPUも近いうちに同じようになるだろう。この種のダイナミックで複雑なシステムでは、電力と性能は2つの連続した実行の間では固定していない。結局適応する我々の能力を超えるので、複雑さと非決定論を受け入れる評価方法を開発しなくてはならない。さらに、長時間の実行では、我々が無視しようとしている複雑さと非決定論は性能を最大にするために重要だ。複雑さと非決定論を定数と認める時だけ、プロダクション・システムで電力管理を採用することができる。

未来。アクセラレータについてここに述べると、私が知っている殆どの計算科学者は使っていない。どのグループが最初にまばたきするかわからない、ハードウェア設計者か利用者か。おそらく、ミドルウェアの皆さんが助けに来て、アクセラレータをもっとプログラムを簡単にしてくれるだろう。いずれにしても、アクセラレータが新技術か捨てられるまでGreen500リストを独占してくと思う。

私がこれまで見たインテルやNVIDIAの話の中でのコンセンサスは、我々はいまだアクセラレータの第一世代の段階であり、いくつかのかなり先進的な世代がこれから来るべきであるということだ。これらの次の世代は高速で、さらに並列化が進み、ボードによりしっかりと統合されている。これは全てのさらに複雑になるということを意味している。これらのシステムはプログラムや評価がより難しくなるだろう。これらはGreen500の適度な効率の増加をたぶん示すだろう、しかし、2020年にエクサスケールを目標とする程の第一世代からの増加率とはならない。

我々共同創設者が一貫した展望を提供している一方、年2回のGreen500は、熱心な学生達と研究者、そしてエネルギー効率の情熱的な改革者の大勢の賜物だ。非常に幅広いコミュニティによる献身的な採択なしでは、Green500リストは束の間の逸話となっただろう。

私がGreen HPCの道を歩き始めてから12年以上が経った。4、5年が経ってから我々はHPC効率に関する全ての興味深い問題を徹底究明したと正直に思った。Green500リストの影響は私の予想を遥かに超えている。効率を追うための安定して公平な方法の導入は、ほぼ7年間の詳細な調査に耐え、進行中の研究における飽くなき必要性をハイライトしてきた。私が最初に評価することを失敗したのは、電力効率をスーパーコンピュータのすべての新世代において変換して恒久化する問題としなかったことだ。性能、信頼性やセキュリティに対するチャレンジのように、電力効率は定着している。

著者について

Kirk W. Cameronはバージニア工科大学エンジニアリング・カレッジの計算科学教授であり、フォカルティ・フェローである。CameronはGreenコンピューティングにおけるパイオニアで主要な専門家である。CameronはIEEEコンピュータのGreen ITコラムニスト、Green500の共同創設者、SPECPowerの創業メンバー、EPAコンサルタント、「Uptime Institute」のフェロー、そして電力管理ソフトウェアのスタートアップ企業である「MiserWare」の共同創業者である。彼の電力測定および管理ソフトウェアツールは160カ国以上で約50万人に利用されている。彼の功績による受賞は、NSFとDOEの経歴賞、IBMフォカルティ賞、および「Bloomberg Businessweek Magazine」において週間イノベーターと呼ばれた。Cameron教授は2000年にルイジアナ州立大学より計算科学の博士号を授与され、1994年にフロリダ大学より数学の学士号を授与されている。