WranglerおよびComet、NSFの優先順位の変化を反映

Tiffany Trader

「早期運用モード」とは、従来のエリートレベルのスーパーコンピューティングで提供されてきたもの以上に幅広いユーザをサポートするために進められているNSFが資金提供する2つのシステムを説明している。Wranglerはテキサス先端計算センター(TACC)のシステムで先日レポートしたばかりなので、今回はサンディエゴ・スーパーコンピュータ・センター(SDSC)で準備が進められているペタスケール・スーパーコンピュータであるCometに目を向けてみることにした。

Cometは全米科学財団(NSF)からの1260万ドルの資金提供によるもので、伝統的、非伝統的な研究ドメインに渡るアクセスと能力を拡張し、研究のかなりの部分を構成するより控えめな規模のジョブを指す概念である科学のロングテールに適応するシステムを構成している。この動きは、我々がCometの簡潔な概要の後に戻る話題である、NSFのより大規模なサイバーインフラ戦略にも話しかける幅広い関与へ向かっている。

Dellがインテグレートしたこのクラスタは27台のラックで構成されており、各ラックは72ノードで合計1,944台の演算ノードを有している。各ノードは2個のIntel Xeon E5-2600 v3 12コアのプロセッサ(2.5GHzで動作)、128ギガバイトの従来のDRAMおよび320ギガバイトのローカル・フラッシュ・メモリを搭載している。合計46,656コアで2ペタフロップスのピーク性能を提供している。

適度な規模のジョブ用の能力を最適化するために、各ラックはMellanoxの完全2分割InfiniBand FDRインターコネクトを持っており、ラック全体に4:1のオーバーサブスクリプションを持っている。Cometはまた、データ信頼性のための7.6ペタバイトのLustreベースのハイパフォーマンス・ストレージおよびInternet2とESNetへの100 Gbps接続を誇っている。

標準のXeonノードは演算能力の大部分を提供するが、Cometはまた36台のGPUノードも有しており、4台のNVIDIA GPUと2台のIntelプロセッサを装備している。さらに、間もなく大メモリノードも持つ事となり、4台のIntelプロセッサと1.5TBのメモリを搭載している。このヘテロな構成はCometが、ビジュアライゼーション、分子動力学シミュレーション、もしくはデノボゲノムアセンブリのような特定のワークロードをさらに最適にターゲットとできるようにしているのだ。

SDSCのGordonスーパーコンピュータやTACCのWranglerのように、CometはXSEDE(eXtreme Science and Engineering Discovery Environment)システムの一部となる予定だ。Cometは先のNSF資金で2011年に運用に入ったTrestlesのリプレースとなる。

Comentのさらに興味深い特長のひとつが、マルチノード・クラスタ・レベルでの高性能シングルルートI/O仮想化(SR-IOV)のサポートだ。CometのSR-IOVの利用で、仮想サブクラスタがネイティブに近い速度でInfiniBand上でアプリケーションを実行することができる。この”秘密のソース”は自分のソフトウェア環境を使いつつスーパーコンピュータレベルの性能を出す事で、幅広いレンジの研究者に参入障壁を下げている。

「Cometはさらに大きな研究コミュニティへのハイパフォーマンス・コンピューティングの提供 – “99パーセントのためのHPC”と私達が呼んでいます – そして、発見のゲートウェイとして活用することが本来の役目なのです。」とプロジェクトの主任研究者であるSDSCのディレクターMichael Normanは語っている。「Cometは、従来問題解決のためにスーパーコンピュータを使っていなかった領域の研究者のニーズに合うように特に構成されています。」

Wrangler (TACC)およびComet(SDSC)の両者とも、新しいスーパーコンピュータをXSEDEに展開するために毎年3千万ドルの競争資金として2006年に策定されたNSFのTrack 2プログラムで資金提供されている。(前SDSCユーザサービスのコンサルタントであったGlenn Lockwoodが役に立つこれら受賞者の記録の概要をまとめている。)

現在NSFは、高度コンピューティング基盤のビジョンを踏まえて、新しい資金調達方法を検討している。21世紀科学技術のためのサイバーインフラ・フレームワーク(CIF21)の一環として、このプログラムは「特に科学技術コミュニティが、最も複雑な問題と今日の科学および教育コミュニティが直面する課題に取り組むのに必要とされる高度な演算およびデータ駆動型の能力にアクセスする準備ができていることを保証すること」にフォーカスしている。

HPCシステム取得に関する直近の公募(2014年2月14日)において、NSFは「革新的演算リソースを益々多様化するコミュニティと科学研究と教育のポートフォリオに提供する新しく創造的なアプローチ」を募集した。

「より包括的なコンピューティング環境」へのシフトは、プログラム・ガイドラインの中で、下記のようないくつかのより顕著なパラグラフと一緒にさらに明らかにされている:

計算科学における最近の開発は、科学的プロセスのすべての領域に計算を統合し、複雑なダイナミックで多様なワークフローに集中し始めている。これらのいくつかは、非常にデータ集約型であり、浮動小数点演算速度に支配されないアプリケーションを含含んでいる。いくつもの以前の取得でこれらの問題の一部に対処しているが、以前の公募NSF 13-528および現在の公募はさらにこれらの側面を強調している。

…高度なコンピューティングインフラストラクチャとの一致：ビジョンと戦略計画（2012年2月）、現在の公募は、さらに大きく多様なコミュニティに対するハイエンド・リソースの利用の拡張にフォーカスしている。その戦略的な計画から引用すると、目標は「…NSF資金によるコミュニティの全体のスペクトルを位置づけてサポートし…そしてさらに包括的でバランスのとれたポートフォリオを促進し…学際的計算と科学、技術および教育コミュニティ全体を順番にサポートするデータ対応の科学技術と支援すること。」このように、もっと伝統的なHPCのユーザに基本的なものと必要なリソースを提供し続ける一方で、この公募は、国家レベルの高度な計算能力で恩恵を受けるであろう従来のHPCシステムのユーザでない研究コミュニティを含むように範囲を広げている。国家、地域およびキャンパスのリソースを含む共同エコシステム内でのこれらのリソースの構築、試験および展開はNSFにおいて高い優先順位と科学と工学のコミュニティに重要性を増大させるひとつであることが継続する。

この公募の結果は、ピッツバーグ・スーパーコンピュータ・センターのデータ移動に関する問題にフォーカスした「Bridges」、インディアナ大学パーベイシブ技術研究所とテキサス先端計算センターとの共同設置であるクラウドベースのシステム「Jetstream」の発表とともに11月に公表された。この1600万ドルの新しいリソースは2016年早々にオンラインになる予定だ。