HDR InfiniBand、HPCと 機械学習プラットフォームを一新

スポンサー記事

Gilad Shainer、Gerald Lotto、Scot Schultz

SC’16（2016年11月）で、最新のInfiniBandテクノロジー200Gb/sのHDR InfiniBandが発表されました。一世代の100Gb/sのEDRテクノロジーが発表されたのは2014年でしたので、2年間でインターコネクト製品が世代交代したことになります。これはデータスループットへのニーズが今でも増大していることを示しています。InfiniBandは、業界標準のテクノロジーとして、後方および前方の互換性を完全に保証しています。また、包括的なSoftware Defined Networkテクノロジーとして、ノンブロッキングおよびブロッキングファットツリーからマッシュ、ハイパーキューブ、拡張ハイパーキューブ、Dragonfly、3D Torus、6D Torusなど、無限のシステム構成とトポロジーを柔軟に構築できます。

HDR InfiniBandの発表と同時に、新しいテクノロジーのエンドツーエンドの包括的な実装を可能にするために必要となるConnectX-6ホストチャネルアダプタ、Quantumスイッチ、200Gb/s対応ケーブルのLinkXファミリの3つのネットワークコンポーネントも公開されました。InfiniBandの最新世代は、かつてない強力なインネットワークコンピューティングとインネットワークメモリの能力を提供し、ネットワークのスケーラビリティを飛躍的に向上させます。ストレージプラットフォームとデータセンターのセキュリティを向上しながら、ハイパフォーマンスコンピューティング、マシンラーニング、クラウド、Web2.0、ビッグデータ、金融サービスなど、新しいパラダイムとなるデータセントリックなデータセンターを強力に推進します。

データセントリックなコンピューティング環境では、インターコネクトがコプロセッサとして機能する環境が基盤となっており、プロトコルやデータ集約や削減操作などの計算処理を相乗的にオフロードします。これらの処理は、ハイパフォーマンスコンピューティング、マシンラーニング（機械学習）およびその他のアプリケーションのレイテンシーのボトルネックを解消するために重要です（図1）。すでに発表済のネットワークアダプタで採用されているSHArP（Scalable Hierarchical Aggregation and Reduction Protocol）テクノロジーは、特にマシンラーニングアプリケーションのニーズに合わせてConnectX-6で強化され、このようなアプリケーションで一般的に扱われる大規模なデータセットの集約や削減処理を効率化できるようになりました。

図1 – CPUセントリックとデータセントリックデータセンターアーキテクチャの違い

SHArPテクノロジーには、ネットワークファブリック自体のデータ集約など、いくつもの利点があります。これにより、データセンター内で移動する情報量が削減され、CPUで発生するオーバーヘッドが軽減され、パフォーマンスを向上できます。

MPIタグマッチング、ConnectX-6でサポートされる機能であり、MPIレイテンシーとCPUオーバーヘッドをさらに軽減します。MPIタグマッチング処理をオフロードすることによって、ソフトウェアからインターコネクトハードウェアへのMPIランデブープロトコル全体の移行が可能になります。その結果、ソフトウェアではなく、インターコネクトハードウェア上でMPI操作の70％近くを実行できます。

HDR InfiniBandインターコネクトソリューションは、バンド幅を200Gb/sに倍増した以上の効果を実現します。気候変動や製造シミュレーション、材質科学と分子モデリング、数値流体力学、そしてコグニティブコンピューティングやマシンラーニングなど、さまざまな分野のワークロードに対して、最大で10倍のアプリケーションアクセラレーション効果が実証されています。図2は、HDR InfiniBandのオフロードおよびインネットワークコンピューティングエンジンの概要になります。

図2 – HDR InfiniBandのオフロードおよびインネットワークコンピューティングエンジンの概要

HDR InfiniBandでは、ネットワーク設計とネットワークトポロジーのコストを削減するための革新的なテクノロジーが導入されています。100Gb/sのデータ速度を実現するHDR100が発表されました。HDR100は、4レーン200Gb/sのポートを2つの2レーン100Gb/sのポートに分割するテクノロジーになります。これにより、HDRスイッチは100Gb/sのデータ伝送スピードを2倍の密度で実現する基盤を提供し、HDR100で最大80ポートの活用が可能になります。新しいHDR100プロトコルは、ConnectX-6 InfiniBandアダプタとQuantum InfiniBandスイッチシステムでサポートされ、InfiniBandのテクノロジーやデータ伝送スピードとの後方互換性と前方互換性の両方が確保されています。

図3 – HDR100とOmniPathの設備投資と運用コストの削減比較

OmniPathスイッチを基盤に最適化されているため、1,536ノードのシステムサイズを例として使用しています。HDR100では、設置面積を3分の1に、必要なケーブル数を4分の1に、さらに消費電力を半減させることができます。

HPCを実務レベルで活用している多くの方はパフォーマンスを最も重視していますが、コストも常に重要な課題です。HDR100は、データセンターのファブリックデザインを一新します。1Uフォームファクタの80ポートの効果的なスイッチ基盤が、高密度な環境を実現し、設置面積およびネットワークコンポーネントを削減し、消費電力とコストの両方を節約できます。たとえば、Quantumを使用するシンプルな2層のノンブロッキングCLOSファブリックデザインでは、100Gb/sで400ノードをサポートでき、わずか15台の1Uスイッチと半分のケーブル数で、24台のOmni-Pathスイッチと同じ接続環境を構築できます。最大級のQuantumディレクタークラスのスイッチは、24kWの構成でノンブロッキングの100Gb/sのHDR100接続で最大1600のノードをサポートし、Omni-Pathと比較して、設置面積、消費電力、冷却コスト、ケーブル配線、全体的な運用コスト、そして複雑性を大幅に削減できます（図3）。データセンター管理者はHDR100を使用すると、単一の1Uスイッチで80ノードのクラスタを、ファクトツリーネットワークトポロジーでは2層のスイッチのみで最大3,600ノード、3層のスイッチのみで最大128,000ノードの環境を構築できます。これは、競合製品と比較して約5倍のスケーラビリティとなります。

完全なHDRバンド幅を必要としない環境では、高度なテクノロジーであるマルチホストテクノロジーを利用して、TCOを削減できます。ConnectX-6を使用すると、最大8台の個別のホスト（サーバ）を1つのアダプタを共有できるようになるため、ネットワークアダプタだけでなく、ケーブルやスイッチポートのコストも大幅に削減されます。マルチホストアーキテクチャでサポートされるもう1つの機能は、ネットワークにアクセスするときにQPIバスに依存しないSocket Directです。これにより、レイテンシーを約20%改善し、CPU使用率を最大50%削減できます。

InfiniBandは、これまでもそしてこれからも、インターコネクトテクノロジーの分野で業界を牽引し、テクノロジー、機能、効率性を向上し、エクサスケールコンピューティング、そしてその先の道を切り開いていきます。HPC環境のランドスケープが変化するに伴い、マシンラーニングやコグニティブコンピューティング、Web 2.0、IoT（モノのインターネット）、クラウドコンピューティング、ハイパースケールなどのビジネスインテリジェンスとアナリティクスなどの分野において、パフォーマンスに対するニーズが衰えることは決してありません。HDR 200Gb/sのネットワークテクノロジーは、現在必要とされるデータスピードを提供し、ユーザーに競争力とコスト/パフォーマンスの優位性を提供することをめざしています。