研究者、HPC優先クラウドアプローチを実装

Tiffany Trader

アルゴンヌリーダーシップコンピューティング施設(ALCF)と協力して取り組むノースカロライナ州立大学の研究者は、スーパーコンピュータとクラウドコンピューティング環境を併合して新たな高性能クラウドコンピューティングプラットフォームのための概念実証を成功裏に実証した。プロジェクトは、Patrick DreherとMladen VoukがALCFのWebサイト上でプロジェクトの進化の議論を先導する。

ALFC Blue Gene/P「Surveyor」内に埋め込まれたクラウドコンピューティング環境

概念実証の実装は、完全機能生産クラウドコンピューティング環境が完全にスーパーコンピュータ内に埋め込むことができることを示し、それによって基礎をなすHPCハードウェア基盤からの恩恵をクラウドユーザーが得ることを可能にする。

仕事は、スーパーコンピュータ内に分散クラウドコンピューティングアーキテクチャを位置づけることの実現可能性を探るためにBlue Gene/Pマシンへのアクセスを研究チームに提供するALCFのディレクター裁量(DD)プログラムの一部であった。

DreherとVoukは、どのようにこのプロジェクトが他の殆どのHPCクラウド活動と異なるかについて説明する。「『伝統的な』クラウドの設計手法は、たびたび比較的緩やかに結合されたx86ベースアーキテクチャで始まります。」と彼らは書いている。「次に、HPCに関心がある場合、クラウドコンピューティングサービスは、HPCの計算ニーズや要求を加えて適合させることができます。多くの場合、そのようなサービスは、仮想マシンに基づいており、HPCアプリケーションのための遅延度要件に敏感でない分散アプリケーションで使用されています。」

この研究プロジェクトは、HPC優先のアプローチを採用した：クラウドをホストするためにスーパーコンピュータを使用して、特有なHPC機能が存在したことを確実にする。スーパーコンピュータのハードウェアは、クラウドコンピューティング環境をサポートする能力のあるソフトウェア定義システムによる基礎を提供した。著者らは、この「新たな方法論は、複雑な混載ワークフローの実装、データフロー指向ワークロード、さらにHPC環境内に新しいスケジューラとオペレーティングシステムを伴った実験に向けて適用される可能性を秘めています。」と述べる。

プロジェクトは、1,024台のクアッドコアノード(4,096プロセッサ)と2TBのメモリで13.9 Teraflopsのピーク性能を持ち、ALCFの非プロダクションなテストおよび開発プラットフォームであるIBM Blue Gene/Pスーパーコンピュータ、Surveyorを使用した。元々IBMリサーチからの資金で開発されたKittyhawkと呼ばれるソフトウェアユーティリティパッケージが、必要不可欠であることが判明した。このオープンソースのツールは、プロビジョニングエンジンとして機能し、またBlue Gene / Pシステム内で基本的な低レベルなコンピューティングサービスを提供する。ソフトウェアは、チームがスーパーコンピュータ内に埋め込まれた弾性クラウドコンピューティング基盤を構築することを可能にするものである。

クラウドの機能性のために、チームはノースカロライナ州立大学で元々設計・開発された仮想コンピューティング研究所(VCL)クラウドコンピューティングソフトウェアシステムを選んだ。このオープンソースのクラウドコンピューティングと資源管理システムは、Hardware as a Service(HaaS)、Infrastructure as a Service(IaaS)、Platform as a Service(PaaS)、Software as a Service(SaaS)、同様にEverything as a Service(Xaaは)オプションを含む、クラウド機能の全範囲を網羅する。それはまた、グラフィカルユーザインタフェース、アプリケーションプログラミングインターフェース、認証プラグイン機構、オンデマンドリソース管理とスケジューリング、ベアマシンおよび仮想マシンのプロビジョニング、来歴エンジン、洗練された任務ベースリソースアクセス、そしてライセンスおよびスケジューリングオプションを含んでいる。

プロジェクト指導者によると、クラウドコンピューティングへのHPC優先設計アプローチは、「局所的に均質かつ均一のHPCスーパーコンピュータアーキテクチャは通常、一般的なクラウドコンピューティングクラスタでは見つかりませんでした。」に影響を及ぼす。このようなシステムは、従来のHPCシミュレーションジョブからデータフロー指向な仕事のためにHPCおよび非HPC分析の両方を伴うワークフローまで、複数のワークロードをサポートする潜在能力を持っている。その実装は、Kittyhawkユーティリティがインストールされた任意のスーパーコンピュータ上で互換性がなければならず、そして次のステップは、他のシステムに概念実証を拡大することである。