新しいHPCベンチマークの焦点にフォーカス

Nicole Hemsoth

過去2年から3年間の間、現在Top500を測るために使っているLINPACKベンチマークの限界について、大きな議論があった。一連の疑問の結果は、新しいベンチマークの可能性を導いただろうか。現実世界のアプリケーションが必要とするものと、現在のアーキテクチュアとシステムを設計する傾向を導くだろうか。

何度も解説したように、LINPACKの作者であるJack Dongarra氏に加えて、Sandia国立研究所のMichael Heroux氏が、新しいHPCGベンチマークによってHPCベンチマークの限界に取り組んできた。ベンチマークに関わるベンダーとコミュニティーが、まさに活動中の今、新しいベンチマークの可能性、信頼性、進展についての新しい疑問が現れた。Dongarra氏によると、若干の混乱があり、年が明けてから問題のいくらかを説明するのに時間を要した。

実際には、1ダースの旗艦級システム、かなりの数のベンダー、そしてコミュニティーから、HPCGベンチマークを磨き上げ続けるための報告があった。しかし、Dongarra氏によると、SC13が終わってから、HPCGには混乱があったという印象を受けた。数人から、新しいリストはどこにあるのかと、尋ねられた。新しいリストはまだないし、すぐにできると期待すべきでない。

HPCGは進化中の運動であり、新しいLINPACK結果となるためには、これからの数ヶ月にわたって、さらなる後押しが必要である。さらに、次のTop500において新しいリストに何百ものマシンが登場すると考えるべきではないと、Dongarra氏は強調した。ベンチマークの結果を報告したシステムの数はまだ少ないが、これからの重要な期間に増えていくだろう。現在の目標は、次のリストにいくつかのマシンがLINPACKとHPCGの両方の結果を載せることである。「しかし、百を超えるマシンが両方の結果を載せるには数年を要するでしょう。」

「私たちはベンチマークを走らせながら学んでいます。そして、どのように表現されるか調整しています。」「現在、ある意味では、ベータ版を持っています。次の6ヶ月間で磨き上げられるでしょう。その時点で、ユーザーがよりハッピーになれるものができるでしょう。」ベンダーとユーザー・コミュニティーがどのように有用なフィードバックを得て、励まされたか、Dongarra氏は強調したが、広い範囲での結果がどのようになるかの一般的な誤解だけでなく、最大級の挑戦にはベンチマークとその潜在的な使い方の誤りについての理解が不足しているとも強調した。

新しいベンチマークは現在のLINPACKよりも詳細にシステムを調査する。しかし、有効であるためには、LINPACKと同様に、システム・アーキテクチュアだけでなくベンチマークとその結果についての広範囲の理解にもとづく、最適化が必要である。「もしLINPACKのリファレンス実装を走らせたならば、高性能は得られず、それは私たちが測定したいものではありません。」最適化は極めて重要である。HPCGに批判的な方、特にSTREAMベンチマークと同じだとDongarra氏を批判した方は、適切に最適化しなかった。LINPACKのリファレンス実装を走らせるとSTREAMと同様の結果になると、Dongarra氏は注意した。結果の肉は、重要な第一段階の骨によって固着される。

以前触れられたように、最適化は、単純なタスクには必要ないが、ベンチマークのある部分が、与えられたアーキテクチュアに合わせて、コーディングされて動くために、必要である。Dongarra氏とチームは、最適化がどのようにされるかについて、ベンチマークのクリティカルな部分に行われるとともに、ハードウェア・ベンチマークに関する知識を持っているかどうかに依存するHPCGから、結果を得て成功するために行われると、報告した。対照的に、LINPACKは、より狭い範囲の要素を測定するが、労力が加えられる故に、アーキテクチュアに関連して極端に明らかになる構成要素がより多くなる。両者共に時間を要する。LINKPACKの進化が熟するために、長い時間がかかり、知識が蓄積されたように。

HPCGベンチマークの共同作者であるMicheal Herouxによると、AMDを除くあらゆる主要なベンダーは、新しい測定値に精密な注意を払って、相当なフィードバックを提供した。Dongarra氏と他の人々は、ベンダー・コミュ三ティーと共に着実に働いていた。コミュニティーが何を期待し、ルールは何であり、どのように最適化し、さらに最適化後の段階においてのバグとその他の問題をフィードバックを、コミュニティーが理解するように助けるためである。

HPCスペクトラムに渡るいくつかのベンダーにとっては、彼らのマシンがより現実の計算環境においてどのように性能を出すかという、別の視点を得るために、HPCGを助ける多くの理由がある。彼らは、彼らのハードウェアが光の中で輝くことを望み、LINPACK数値は現実世界での性能を表さない限界があったと声だかに主張する人々のコミュニティーが、実際のシステム性能をより評価するための仲間になるだろうと知っている。

もちろん、建設的な方法でこのベンチマークをどのように「システムをゲームする」かと、誰かが考えるだろう。彼らは特定のトリックを使っており、それは禁止されるべきだとHeroux氏は注意する。さらに、ベンチマークをオープンにしておくことが、HPCGの進歩あでりルールであるが、他に支配される微妙なことがある。

現実のアプリケーションのより広い見方を提供することに加えて、究極的には、いくつのシステム不完全さを隠すことが難しいと、ベンダーに理解されることが、ベンチマークの利益になり、初期のHPCGが批判されたことである。ネットワークの性能からベンダーによるライブラリーの重箱の隅まで、HPCGは多様な改善の必要性に光を当て続ける。

要するに、Dongarra氏が言ったように、「6カ月後に、ベンチマークは何をさせようとしているのか、実装に多くの労力をさき、利益が見えることを、人々に納得させられるでしょう。コミュニティーからのフィードバックによって変化させることの意味を、人々に理解させるように助けられるでしょう。ハイエンド・システムについて行うことについてのコミュニティーへのよりよい反映は、コミュニティーを励ましてさらなる改良をもたらすと、希望します。」