スパイダーII出現、ORNLを大幅に速度増強

Alex Woodie

オークリッジ国立研究所のJaguarスーパーコンピュータは2012年にTitanへ進化し計算能力の大幅な増強を達成した。 近頃、Spiderと呼ばれるORNLの並列ファイルシステムは、同様のオーバーホールを受け、Spider IIとして現れた。

LustreベースのSpider IIファイルシステムがこの秋にオンラインになると、オリジナルのSpiderの240GB/秒の転送能力から向上し、InfiniBandベースのネットワークを介して、1TB/秒以上の最高クラスのバンド幅を提供できるようになる。 オークリッジ・リーダーシップ・コンピューティング施設のWebサイトによると、ファイルシステムの総ストレージ容量は、10PBから32PBに増加する。

「我々のSpider IIは速度で、世界の3大並列ファイルシステムとの競争に確実に参入できることを期待しています。」と国立計算科学センター(NCCS)内の技術統合グループでファイル&ストレージシステム・プロジェクトのタスク・リーダー、サープ・オーラルはORLCFで語っている 。

Spiderは、Jaguar（現在のTitan）、LENS可視化クラスタ、 Smoky開発クラスタ、およびラボのGridFTPサーバを含むすべての主要なOLCFプラットフォームにおける初のセンター全体の共有資源という点でユニークであった。Spiderに集中的に格納されたデータは、これらと他のシステム、全体合計で26,000以上の計算ノードからアクセス可能である。

Spiderの設置面積はSpider IIで増加し、4列のキャビネットで672平方フィートを占る。 キャビネット内部は、I/Oサーバと20,000台以上のディスクを制御するハイエンドのストレージアレイである。

Spider IIプロジェクトはまた、研究所のスケーラビリティとメタデータの性能を向上させるLustre 2.4へのアップグレードが含まれ、研究所に有益な新機能も提供される。

例えば、Lustre 2.4は、160から2,000へ単一共有ファイルのオブジェクト・ストレージ・ターゲット数が拡張される。 分散ネームシステムの強化は、より多くのユーザ数をサポートし、全体的なメタデータの性能とスケーラビリティを向上させる。さらに、Titanの完全なリカバリーもほんの数分で行うことができるようになる、とORLCFは語る。「前回よりかなりの時間の削減となる。 」

「Spider IIは、並列ファイルシステムに新たに追加した容量とTitanの計算馬力の両方のペースを維持することを可能にします。」NCCS科学コンピューティング・グループのブロンソン・メッサーはORLCFで語った。 「メタデータの改善は、特に、ユーザがTitanで出力する大規模で複雑なデータセットの類いの生成と分析に有効でなくてはなりません。スパイダーIIは、双方でより大きく、ベターでなければなりません。」

スパイダーIIは、OLCFスタッフ、Data Direct Networks（DDN）、Cray、Mellanox、およびDellを含む多くの関係者による共同作業の成果である。