将来のHPCシステムの電力とエネルギーに壁に挑む

Performance and Architecture Lab (PAL) at PNNL

Pacific Northwest National Laboratory（PNNL）のエクサスケールシステムへの展望*

スーパーコンピュータやデータセンターの電力供給コストの増加に伴い、次世代のエクサスケールシステムは実際の使用にあたっては、現在のスーパーコンピュータより相当に電力効率とエネルギー効率に優れている必要がありる。消費電力の制約（システム全体で20 – 25MWというDOE科学局がHPCコミュニティに与えた目標）がエクサスケールでの実効性能を達成する道のりでの大きな制限要因の一つになっている。実際、電力の課題は他の問題が電力制限に帰する程重要になってきている。例えば、所定の電力予算内で計算を実行するために、近閾値電圧（ NTV ）でCPUを動作させると、ソフトエラー率がかなり増加することになってしまう（故障耐性問題）。ペタスケールシステムの時は最大の関心事は性能だったが、エクサスケールシステムでは持続可能なエクサフロップスの性能を実現するために電力およびエネルギーの壁を乗り越えなければならない。PNNLにおいて我々は、プロセッサアーキテクチャからシステムインテグレーションにいたるすべてのレベルにおいて、省エネルギーと省電力の側面を総合的に調査している。また、我々はシステムソフトウェアやプログラミングモデルから科学アプリケーションにおける性能と電力モデリングや超大規模システムにいたるまで、様々な角度からの電力エネルギー問題に取り組んでいる。

PNNLの計算機施設としては、所内HPCシステム（PIC）および以前からのテストベッドであるEnergy Smart Data Center（ESDC）がある。これらのシステムが、HPCコミュニティにとって価値のあるデータセンターの評価指標に関する研究のプラットフォームを提供している。ESDCでは、マシンルームや各機器の電力、電流、電圧、温度などの計測用に数千もの外付けセンサーが取り付けられている。PIC自体も、エネルギー効率の研究を推進するための統合データセンターに向けた我々のビジョンの実証例である。そのシステムは、地熱冷却による熱交換器で冷却されたデータセンターに収容されている。この施設のマシンルームやシステムには計測装置が装備されており、マシンルームに関するマクロレベルの電源効率やサーバやマザーボードのコンポーネントに関するマイクロレベルのエネルギー効率についての情報を提供してくれている。

電力は将来のエクサスケールシステムのために非常に重要なものであるにもかかわらず、依然として一級市民の扱いを受けていない。それが消費電力を考慮したソフトウェアアルゴリズムの開発を難しくしている。PNNLのビジョンでは電力はリソースのひとつとみなされるべきである。PEやメモリモジュールと同じで、システムソフトウェアによってしかるべく管理される必要がある。システムソフトウェアは、正確に電力使用率を測定（内蔵の形で）することができなければならない。即ち、任意の時点で各システムコンポーネントがどれだけの電力を消費しているか、測定できなければならない。より重要なことは、システムソフトウェアがアプリケーションの走行を予測できない実行環境にも適合させるべきであるという事である。具体的には、アプリケーションのクリティカルパスを走行するスレッドには継続的な電力を割り当て、アイドル状態のコアは速やかに低電力状態に移動させる。このような自己認識／自己適応が可能なシステムソフトウェアの設計および開発がPNNLにおいて活発に研究されている。我々は最近DOE ASCRのエクサスケール共同デザインセンターの科学アプリケーションについてその電力特性を分析した。それは、HPCコミュニティ全体として電力節約の機会を特定するためでもある。空間軸と時間軸の両方できめの細かな電力センサ期待できないので、我々はコアの動作を調査することによって各コアの消費電力を正確に推定するプロキシパワーセンサモデルを開発した。我々は、閉形式表現を定式化するために統計的回帰技法を使用してコアとシステムの電力 消費を推定した。これらの技術により、消費電力を考慮したアルゴリズムを開発することができ、さらにセンサーの無い計算ノードで実行中のアプリケーションでさえ、その消費電力の特性を明らかにできるようになった。我々の実験によると、同じアプリケーション内のプロセスが同じ電力プロファイルである必要はなく、各プロセスは独立に低電力フェーズと高電力フェーズの間を移行していることを示している。このように交互に相移行するということは、計算に忙しいプロセスに電力を優先的に供給できる可能性を示している。即ち、性能低下を招くことなく電力を節約できるということだ。

研究者の間には、データ移動が計算上のコスト増加を招くという強い合意がある。倍精度浮動小数点のレジスタ間演算に要するエネルギ消費は、2018年までに10分の1に減少する。この傾向はNTVレベルで作動するであろう将来のシステムではもっと強まるだろう。しかしプロセッサにメモリからデータを移動させるエネルギーコストは、そうは成らないだろう。ということは、レジスタ間演算の実行に対する相対的なエネルギーコストが増加することになる（メモリの壁に類似して、エネルギーの壁）。最近の研究で我々は、メモリ階層システムにおけるデータ移動エネルギーコストに関するモデル化を行い、実際に科学アプリケーションのデータ移動のエネルギーコストを分析した。この研究により、我々は次のような重要な質問に答えることができるようになった。アプリケーションの全エネルギー消費量の内、データ移動に占めるエネルギー消費量はどの程度なのか？現在および将来の並列アプリケーションでデータ移動エネルギーに費やされる主要構成要素は何なのか？我々の回答は次の通りである。データ移動のエネルギーコストはアプリケーションにより異なるが、18％〜40％の範囲である。このパーセンテージは、将来の演算エネルギーコストの減少に伴い、増加するだろう。 このようなシナリオを避ける為には、プロセッサ・イン・メモリ、不揮発性RAMそして3D積層メモリなどの新技術が、持続可能なエクサスケール・コンピューティングの開発のためには不可欠となる。また、データ依存性の解決および命令の投機スケジューリングやアウトオブオーダスケジューリングに費やされるエネルギーが全体のダイナミックなエネルギーの22％から35％というかなりの部分を占めていることも判った。これらコストは、もっとエネルギー効率の良い単純なプロセッサコアデザインにより低減することができる。

将来のエクサスケールのアプリケーションやシステムの複雑化を考えると、設計者は設計空間をナビゲートできる新しい洗練されたツールを必要としている。これらのツールは、システムおよびアプリケーション設計者が欲しがる性能、消費電力等を含めた評価指標を取得できる必要がある。 PNNLは歴史的に並列アプリケーションの進化をモデル化するようなアプリケーション固有のパフォーマンスツールを開発してきた。これらのモデルは、アプリケーションを複雑なシステムアーキテクチャへマッピングさせるための強力なツールであるが、評価指標の項目に消費電力を含むように拡張されている。このためにPNNLの研究者は、システムとアプリケーションの共同設計経験に基づいて構築された、性能と電力の協調モデリング方法論を開発した。このモデリング機能は、三つの柱によって開発されている。最初の柱は、ワークロード固有の定量的電力モデリング機能である。この電力モデルは、ワークロードの相変化、その消費電力への影響、それがシステムアーキテクチャおよびシステム構成（例えば、プロセッサのクロック速度）によって受ける影響について正確に把握する。第二の柱は、性能と電力のモデリングの統合である。このためには、双方のモデリング手法が同じ概念レベルで機能することが重要である。つまり、一つのモデルで得られたアプリケーションの動作またはコンポーネントに関する情報は、他方のモデルにも反映されなくてはならない。そうすれば電力と性能のトレードオフ情報が定量的に得られる。最後の柱は、これらのモデルを我々の自己認識／自己適応ソフトウェアシステムに統合することである。そのソフトウェアシステムは、アプリケーションの実行を動的に最適化するメカニズムを提供してくれる。我々は、アプリケーション固有の行動情報を実行制御層に渡すためのメカニズムとしてエネルギーテンプレートなる概念を創り出した。エネルギーテンプレートはコアごとのアイドル／ビジー状態だけでなく、そのコアが今後どれだけアイドル／ビジー時間に留まるかを示すので、ランタイムソフトウェアはパフォーマンスに悪影響を与えることなく、ハードウェア／ソフトウェ アプラットフォームが提供する省電力機能（例えば、動的な電圧・周波数のスケーリング：DVFS ）を実行するすることができる。このアプリケーション固有の行動情報とエネルギーテンプレートを積極的に使用することにより、アプリケーションが対応していない場合や最適メカニズムが利用できない場合でも、エネルギー節約の方法を探ることができる。

PNNLの研究はまた、DARPAの新しいプログラム、組み込み技術による電力効率革命（Power Efficiency Revolution of Embedded Technologies ：PERFECT）でも生かされている。HPCシステムおよび組み込みシステム向けに開発される技術は基本的に同じであると、我々は考えている。それらは今後いつか一つに収束するだろう。その時のためにツールや技法は双方を包含するように開発することが必要である。 PERFECTではPNNLの研究者が、現在のシステムを経験的に分析でき、しかも将来の技術を予見的に評価できる様なフレームワークを開発している。

最後に、PNNLの研究はデータセンターにまで拡張されている。本研究の方向は、DOEにとって関心のあるアプリケーションのIT消費電力とサポートインフラの消費電力とを相関させて統合的に扱うアプローチを目指している。この統合的なアプローチにより研究者達は、新しい冷却方式（例えば噴霧冷却）が「熱源冷却」なのか「伝統的な全体冷却」なのか、その適用可能性と有効性について系統立てて説明が可能となる。

全体として見れば、PNNLはエクサスケールシステムにおける電力とエネルギーの壁の影響を理解すること及び電力とエネルギーを意識したソリューションをシステムやアプリケーションの設計と最適化のすべてのレベルで展開すること、を目的としたエネルギー省やDARPAのプロジェクトに積極的に参加しており、多くの場合指導的役割を果たしている。これらの取り組みやプロジェクトを通じて得られた知見は、電力ならびエネルギー効率の良いエクサスケールシステムの設計に大きく貢献できるであろう。

* 以下のPNNLの研究者達が、この記事に貢献した： Adolfy Hoisie, Kevin Barker, Roberto Gioiosa, Darren J. Kerbyson, Gokcen Kestor, Joseph Manzano, Andres Marquez, Shuaiwen Song, Nathan Tallent, Antonino Tumeo, Abhinav Vishnu