Amazon Web ServicesのHPCオプション

Tiffany Trader

初期の高い関心にも関わらず、クラウドにおけるHPCは大きな採用レベルを達成しておらず、主に低く吊り下げられた「心地良い並列」という果物に格下げされており、試験や実験に利用されているが、HPCアナリストによると成長の兆しが地平線にあるそうだ。

「パブリック・クラウドがより強力なHPCの能力を獲得し、HPCワークロードのより大規模なセットでより良い性能を出すにつれて、より多くの種類のHPCジョブを取ることができるようになります。」とIDCの調査は指摘している。「要約では、パブリック・クラウド、および特にカスタムのパブリック・クラウドは、これらのクラウドの施設がさらに能力を持ち成熟するにつれて、総合的なHPCワークロードの増加割合をサポートする、とIDCは予見しています。」

最近のレポートで、アナリスト企業であるIntersect360はクラウド/ユーティリティ・コンピューティングを、主にアカデミアと製薬企業における採用の増加によって14.1%の年平均成長率を予測している「HPC市場における成長率リーダー」として言及している。しかし、クラウドへのHPCの支出がこの数年間3パーセント台(パブリック・クラウドには1パーセント)に留まっていることから、14パーセントの成長率は大幅には針を動かすものではない。

今年早々に、Amazon.comは初めてクラウド・コンピューティング事業の規模を公表し、Amazon Webサービスが昨年51.6億ドルを売り上げ、6.8億ドルの営業利益があったと報告した。どのくらいがHPCに結びついているか言うことは難しいが、Amazonは2006年の開始以来HPCコミュニティをターゲットとしており、現在のクラウド王として、AWSは小さいが成長するニッチなHPCクラウドの大きなシェアを誇っている。

Amazonのクラスタ計算最適化とGPUの両インスタンスはオンデマンドで数万のインスタンスにスケールするように設計されている。同社の最新C4計算最適化インスタンスはIntel Xeon E5-2666 v3プロセッサをベースとしており、AWSクラスタ・ネットワークと拡張ネットワーク、「高い性能(パケット毎秒)、低い遅延、低いジッタ」を提供するようにされているSR-IOVベースの特長をサポートしている。

AmazonのAWS HPCポートフォリオをご存知ない方のために、同社は「AWS上でのハイパフォーマンス・コンピューティング」と適切に呼ばれる22ページのホワイトペーパーを公開した。

要約で表わされるように:

「本論文では、Amazon Web Service (AWS)で現在稼働中の様々なハイパフォーマンス・コンピューティング(HPC)アプリケーションについて説明しています。クラウドの展開、クラスタおよびジョブ管理、サードパーティー・ソフトウェアの管理のために最善策を学ぶでしょう。このホワイトペーパーでは、高度に分散された高並列グリッド・コンピューティング・アプリケーションばかりでなく、高レベルのノード対ノード通信を必要とするもっと伝統的なクラスタ・コンピューティング・アプリケーションを含んだHPCの利用事例をカバーしています。また、様々なタイプの高性能データストレージへのアクセスを必要とするHPCアプリケーションについても議論しています。」

著者らはまた、Amazon Elastic Compute Cloud (EC2)のスポット・インスタンスおよびAmazon Simple Storage Service (S3)ストレージオプション、Amazon Elastic Block Store (EBS)、大規模でスケーラブルなHPCワークロード管理のAmazon Glacierの役割も説明している。

AWSは、グリッド・コンピューティングやクラスタベースのプラットフォームの登場から最終的にはユーティリティ/クラウド・モデルへのHPCの大衆化につなげるのだ。

「過去、拡大するHPCアプリケーションの種類と相まって、研究分野、民間分野、特に製造業、金融およびエネルギー探査におけるHPCの利用の拡大は、多種多様なワークロードを扱うためのHPCプラットフォームの構築というトレンドを形成し、そしてこれらのプラットフォームはさらに広く利用可能な部品を使って構築されるのです。」と著者は述べている。「コモディティのハードウェア部品の利用は、HPCのクラスタおよびグリッド時代の特徴です。クラスタとグリッドは民間および研究/アカデミックの両分野においてHPCを展開する最も有力な方法であり続けます。規模の経済そして多様な条件のある大きな組織全体でのHPCリスースの集中管理の必要性は、広く多岐にわたるアプリケーションが頻繁に同じ、共有されたHPC基盤上で実行されるという実用的な現実に帰着したのです。」

ユーティリティ・コンピューティングは共有HPC基盤の考えをとったもので、グリッド/クラスタ・モデルに内在していたものの次のレベルだ。HPCの需要が公共部門と民間部門全体から成長したように、クラウドは、インハウスのクラスタへのアクセスと持っていない、もしくは短期間だけ計算能力の過剰分を必要とするようなユーザのための、オンデマンドでスケーラブルなコンピューティングを提供したのだ。AWSは研究コミュニティから早期の利用があったが、現在　民間企業、取り分け製薬企業、衣料製造業および金融サービス分野からの採用の増大を見ている。

Amazonは様々なワークロードに渡ったポートフォリオを目標としている:　疎・密結合HPCだけでなく、データ集約型コンピューティング。密結合の提供については、本論文は「低ノード間遅延や一貫したネットワーク性能のためのEC2配置グループと拡張ネットワークを含むカテゴリ内のアプリケーションを支援するAmazon EC2の機能、そして高並列計算をGPUにオフロードすることで計算ノードの追加を低減することができるGPUインスタンス・タイプの有効性」について説明している。

ここで問題となるのは、最も要求の厳しいHPCワークロードがInfiniBand (もしくは独自インターコネクト)で動作するのに比べて、Amazonのクラスタ・インスタンスが10ギガビット・イーサネットで動作することだ。

AWSはHPCユーザへのマーケティングをほぼ10年間継続してきたのに未だInfiniBandを提供していないのは、利便性のために性能を犠牲にする、もしくは元々遅延に敏感なワークロードを持っていないHPCユーザが十分にいるからのようだ。クラウドで最高レベルの性能を出したいユーザには、IBM SoftlayerやProfitBricksがInfiniBandオプションを提供している。

疎結合対密結合アーキテクチャを示すAmazonのダイアグラム: