HPC進捗状況：無償のランチはもういらない

Tiffany Trader

HPCニュースは、今年、新たに始まる多くの新しい活動のあたり、その昨年末の低迷期の間、幾つかのSC13ハイライトを含むより良い物事を見過ごしたかも知れない。ショーの間、NVIDIA社は、同社のGPUテクノロジーシアターで多くの魅力的なブースセッションを開催し、これらの講演の完全な映像がNVIDIAのWebサイト上で公開された。

そのセッションでは、アクセラレータコンピューティングの将来、物理学のための超並列コンピューティング、エクサスケールでの省エネルギー対応、OpenACCとCUDAの最新の追加情報など、非常に多くの幅広いトピックを網羅した。39の講演の中から多くの人にとって何か選るものがあるはずである。

際立ったセッションのひとつは、「効率性とプログラマビリティ：エクサスケールを可能にするもの」と題したNVIDIAのチーフサイエンティスト兼研究担当上席副社長のBill Dallyの28分に渡る講演は、HPCが今後5〜10年直面する主な課題の簡潔かつ明確な概要と、それらに対処するためのNVIDIAの計画を提供した。

2つの本質的な要求があるが、それらの機能は関連しているとDallyは言う。ある面では、気候科学者たちは、温室効果ガスと気候変動についての基本的な疑問に答えるために今日の数十kmから1km規模にグリッドモデルを微細化する改良を行うために働いていて、それをHPCと呼ぼう。他方では、データ分析の専門家が膨大な量のデータから洞察を得るために、それらを理解できるようにする必要がある。これら両方のフィールドのために、HPCおよびデータ分析には、コンピューティングについての飽くなき要求がある。そして、それらは同様な3つのもの、計算処理、データ移動/通信、そしてメモリ/ストレージ、が必要である。HPCとデータ分析の主な違いは、これらの要素がどのようにバランスされているかで決まる。

人々の問題の対処のためにMooreの法則を待つ時代は終わった、とDallyは指摘し、歴史的なスケーリングの終焉を詳細に図示した。80年代および90年代の間に、単一スレッド性能は年間あたり50％増加したが、すでにその時代は終りを告げた。1980年代後半から2000年前後で、HPCは並列処理を活用したが、それは隠された手法で行われていた。その時代の当初は、マシンは1命令を実行するのに10サイクルを要した。その時代の終わり頃には、マシンサイクルごとに4つの命令を実行した。同じ時間軸の中でクロックサイクルは、100ゲート遅延から10ゲート遅延になった。しかし、その性能の全ては出し尽くしてしまった。専門家は、クロック周期をより短くすることができなかったし、サイクル毎に4命令以上発行するための恩恵は少なかった。

これと同時に、半導体プロセスは、表面リークや過熱なしに電圧をスケーリングすることの限界に達した。これは、Dennard(CMOS)スケーリングの破壊である。

ここでDallyは、今年初めに「Mooreの法則は私たちに多くのトランジスタを与えます… Dennardスケーリングはそれらの役に立ちます。 」との観測を示したDARPAのBob Colwellのことを引用した。

「トランジスタ数は依然、非常に健全な道を歩んでいます。」とDallyは主張する。「私たちは、依然、デバイスの数の増加おけるMooreの法則に則っているが、Dennardスケーリングなしにそれらを有用とするために、私たちが関心のあるもの – 私らの部品のクロック周期のようなものや、単一スレッド性能、私たちの部品に入れるコアの数でさえも – すべてが横ばい傾向となり、私たちが知っているようにスケーリングの終焉に繋がる。私たちは、私たちに高速なコンピュータを与 える技術のこの無償のランチを得ることはもはやありません。 」

我々の21世紀経済は、継続的なコンピューティングの進展次第なので、これが解決すべき問題である。Dennardスケーリングの終焉ですべてのコンピューティングパワーが制限されるようになると、今後の性能はエネルギー効率によって決定される。プロセス技術は、もはや指数関数的な進歩をするとは考えられないように、Dallyによると、焦点はアーキテクチャと回路に移行する必要がある。

現在のベンチマークとしてTitanを使用して、Dallyはエクサスケールマシン(2020年まで)の領域で求められることを主張する:

• 性能が50倍向上
• 4倍のノード数スケーリング
• 2倍のエネルギースケーリング
• 25倍のエネルギー効率の改善
• 1000倍のスレッド増加(並列処理)

Dallyによれば、最も困難な課題は、最後の2つ、エネルギー効率と並列性、である。講演の残りの部分は、これらの目標へ達するために何をすべきかとマシンが2020年にどのように見えるかについてのNVIDIAの描くビジョンについて詳しく説明した。