SC13スポットライト：３つの主要トレンド

Dave Fellows, CTO, GreenButton

デンバーでの啓発的かつ感動的だったスーパーコンピューティング会議を振り返り、私がそこで感じた主要な傾向と注目点についての議論したいと思う。第25回にあたる今年も例年通り、いくつも製品の発表があった。製品発表の主要なものには既にいくつかの記事があるので、私は包括的なテーマについて論じたい。

ビッグデータとHadoop

今年の業界の流行語であるビッグデータが、スーパーコンピューティングの世界にまで及び、それがSC13のブースや講演で勢揃いした事は驚くにはあたらない。Hadoopなどのビッグデータ技術に関して表明される課題は、 HPCコミュニティでは何十年にもわたって取り扱ってきたものと類似している。 Hadoopのようなプラットフォームの新しいコンセプト、「計算のためにデータをとって来るのではなく、データに計算を送る」というのは理論的にはすばらしい。しかし、典型的なHPCワークロードに適用するには、Hadoopはいくつかの重大な制約がある。まず第一に、 Hadoopは起動時にJVMを立ち上げ、さらにyin yangを立ち上げる。これは粒度の細かい高スループットのワークロードには不適切である。第二に、分散ファイルシステムHDFSは、特に小さなファイルに対して重大な制限がある。しかしIntelやCrayによって示されたように、GlusterやLustreのような他の高性能ファイルシステムをプラグインするのは全く容易であり、そういったアプローチがSC13では一般的だった。HPC向け実装の中には、Hadoop2をベースに非MapReduceタイプのYARNリソースマネージャを使用し、さらにLustreファイルシステムを取り入れるものもあった。ここまでくると、Hadoopといえるかどうか判らなくなってしまうが・・・

Hadoopは、非常にトレンディなハンマーだ。たしかにネジ釘をハンマーで打つことはできまるが、それはエレガントとは言えない。私には多くの人が、時流に乗るためにネジ釘を釘に見せようとしている印象を受ける。

クラウド

2年前のシアトルでのSC11では、クラウドは一回言及されたかどうかだった。昨年のソルトレイクシティでは、クラウドとHPCに関する話はかなりの数にのぼったが、展示は殆どなかった。今年はクラウドに関するスピーチの数は増加したが、それに加えて出展者の二人に一人は何らかの形でクラウドについて話すようになっていた。確かにその多くは、死にかけている製品ラインをクラウドというネーミングでよみがえらせようという初歩的なマーケティングの試みではあったのだが、ポイントはクラウドとHPCは疑う余地のない仲間という事なのだ。ネットワークが強化され、おそらく低いレイテンシをサポートするAmazon Web Serviceの新しいC3インスタンスや、Windows AzureやそのInfiniBand構成のHPCハードウェア版を含む主要なパブリッククラウドに、HPCワークロードに適したハードウェア群を見つけることができるようになった。「クラウド抵抗派」が抱く性能問題に対しては、IBM Softlayerのベアメタル・クラウドサービスやOpenStackのサポートが今後普及していくだろう。

エクサスケール

今年も、エクサスケールおよびこの重要なマイルストーンを達成するために越えなければ成らない壁に関して沢山の話があった。消費電力の制約からコアの速度向上が無理だと仮定すると、実際にエクサスケールを達成するには10億個あるいはそれ以上のコアの並列処理が必要である。ハー ドウェアでは、NVIDIAの新しいTesla X40カードやIntel Xeon Phiの生まれ変わりであるKnights Landingの発表にみるようにメニーコアの進歩が続いている。そのため、そのレベルでの並列処理のソフトウェアサポートが残された現実的な課題となってきている。

結局のところ、今年も素晴らしいSCだった 。この会議の主催者の運営は見事だ。技術プログラムは最高だし、出展者は素晴らしいショーを開いてくれる。今後どんな進展がなされるか、とても12ヶ月も待てない！