HPCクラスタネットワーク選択における考慮事項

Alex Woodie

HPCクラスタのネットワークでは様々な事象が発生し、そこで実行されるアプリケーションの良好な性能を確保するためには、適正なネットワーク・ファブリック、機器、トポロジーを選択する事がとても重要である。「ひとつの大きさにすべてが収まる」というアプローチは大抵上手く行かず、アーキテクトは、アプリケーションのニーズに合わせて、テーラーメードなネットワークを考える必要がある。

Adtech Global を率いるHPCアーキテクトであり、CERNのHPCと高速インターコネクトの元エンジニアでもあるセバスチャン・カルチャの「高性能クラスタにおける高バンド幅かつ低遅延なインターコネクトの役割」と題した最近の報告書では、 HPCクラスタの様々な設計上の考慮事項の中でのネットワークの重要な役割について議論している。

今日のHPCアプリケーションは、クラスタ内の様々なノード間でデータの移動を行うため、高バンド幅かつ低遅延なインターコネクトにクラスタは強く依存している、とカルチャは言う。クラスタが大きくなるにつれ、効率性が大きな懸念材料となり、コンピューティングパワーの無駄を排除することを助けるため、低オーバーヘッドなプロトコルがより一層重要になっている。

HPCクラスタネットワークに使用されるメイン・ファブリックを選択する時に、しばしば２つのオプション、QDR/FDR InfiniBandか、1G/10G-Ethernetか、に選択が絞られる。ユーザは、最善の決断を下すために、送信されるメッセージのサイズと許容できる遅延時間のレベルを含む手元のHPCアプリケーションの通信パターンを見極めるべきだ、とカルチャは述べている。

例えば、データの大きな塊で通信を行う並列プロセスはあるか？ そうだとすれば、彼らは他の全のノードと、あるいは隣接するノードだけと通信しているだけか？ 「このことは、適切なネットワーク·トポロジーに直接的な影響を及ぼす可能性があります（そして、ファブリック全体のコストにも）。」とカルチャは彼の論文で述べている 。

一方、いくつかの通信パターンは、小さな制御メッセージの交換によって支配されており、その場合、待ち時間がより重要な課題となるかもしれない。 「交換される実際のメッセージのサイズは、全体的な性能に影響を及ぼすことができる。」と彼は書いている。

InfiniBandは、高スループットと低遅延のおかげで、多くの汎用HPCクラスタで採用されている。 そして、14データレート（FDR）InifiniBadはで使われる低オーバーヘッドな64B/66B符号化方式のおかげで、非常に高いデータレート（最大54.55 Gbps）を達成し、8B/10B符号化方式を使用するQDRやDDRよりもより少ないCPUサイクルの消費でメッセージのコピー、プロトコル処理、またはチェックサム計算の実行が出来る。

カルチャの論文によると、InfiniBandはまた、柔軟性のあるネットワーク・トポロジーを提供している。 ほとんどのクラスタは、ビルディング・ブロックとしてツリー構造に配置された36ポート・スイッチを用いてファットツリー・トポロジーを使用している。 柔軟性やコストが主な目的であるかどうかに応じて、HPCネットワーク設計者は、異なるトポロジーを選択することができる。

HPCクラスタのエッジスイッチがコアスイッチおよびプロセッサノードへ向かうInfiniBandのリンク数と等しい場合には、1:1のバイセクション・バンド幅を持つと考える事ができる。 これは最も柔軟かつ高可用性を持ったトポロジーであるが、それは同時に、最も高価でもある。 アプリケーションに応じて、1:3のバイセクション・バンド幅比（コアスイッチと計算ノード間に倍多いリンクを使用）とすることで、低コストながら必要なパフォーマンスを提供することができる。