LANL、極端な規模でのインデクシングを実演

Tiffany Trader

ロスアラモス国立研究所の現在進行中のHPCミドルウェアプロジェクトは、重要なマイルストーンに到達した。多次元ハッシュインデックス付きミドルウェア(MDHIM)プロジェクトの一環として開発された新しいスーパーコンピューティングツールは、ロスアラモス国立研究所のMoonlightスーパーコンピュータ上で全体順序付けキー空間へ毎秒1,782,105,749キー/バリューの挿入を行った。デモでは、巨大なスケールでデータ探索を可能にすることを助けるMDHIMの可能性を紹介した。

21世紀の科学の進歩のための基礎は、かつてない大きな数のコンピューティング•コアを一斉に活用するコンピュータシミュレーションが必要である。我々がエクサスケールに向かうように、付加的なコンピューティングパワーは、より複雑なシミュレーションや分析ワークフローにより多くのデータに送り込む結果となる。

今日のデータセットのサイズでは、一度にすべてのデータを移動/検索/分析することはもはや実現可能ではない。代わりに、ツールは分析を実行するためにデータの小さなサブセットを識別、取得、そして分析するために必要とされる。 MDHIMフレームワークは、極端な規模のコンピューティング•システムの機能を活用しながら、これらのデータ管理の課題に対処するために進化した。

フレームワークは、完全なリレーショナル•データベースと「map/reduce」のような分散だが完全にローカルに構築されたものの中間点として意図されていた。MDHIMで、アプリケーションは並列キーバリューストアによって提供されたメカニズムを活用することができる: グローバルな多次元オーダーにデータを格納し、多次元内の大規模なデータの代理設定する。それはまた、シンプルだが、大規模な並列参照を伴う分散ハッシュテーブル機能を有する。

「現在の高度な並列コンピューティングの世界では、スケーラビリティの必要性が世界を完全にトランザクションデータベースから遠ざけることを強要しており、キーバリューストアの緩和された意味論へと戻っています。」とロスアラモスのハイパフォーマンス•コンピューティング部門のリーダー、Gary Griderは説明する。

MDHIMは、表現データのメガからギガバイトをともなうペタバイト級の科学データを表すように設計されている。それは、巨大にした。数百万コアへキー/バリューサービスを拡張するためにHPCインターコネクトの特性の利点 – 低遅延、高バンド幅、および高集産性 – を利用してこれを行う。システムは、拡張性と生産性を向上させるため、毎秒数十億の挿入を実行することが可能でなければならない。

最近のテスト実行では、MDHIMは308ノードのMoonlightシステムの280ノード内の3,360プロセッサ上でMPIライブラリとして実行し、毎秒ほぼ18億の挿入を達成している。

「このマイルストーンは、優れたソフトウェアの設計と洗練されたアルゴリズムの組み合わせにより達成されました。私たちのコードは、GitHub上で利用可能であり、私たちはその上で構築することを他の人に奨励します。」とプロジェクトリーダーでMDHIMプロジェクトの先導的開発者、Hugh Greenbergは述べている。

MDHIMは、DOE FastForwardプロジェクトのストレージとI/O部の重要な部分であり、研究開発を加速するための共同作業は、極端な規模のコンピューティングを必要としていた。