インテルの「Borealis」テストベッド、Auroraスーパーコンピュータのエクサスケール対応を目指す

Tiffany Trader

インテル、HPE、アルゴンヌ国立研究所は、リーダーシップクラスのスーパーコンピュータ「Aurora」を2022年に提供することを目指しており、HPCwireは、インテルフェローでSuperCompute Software、Auroraのテクニカルリード兼PIであるRobert Wisniewski博士にインタビューを行い、AuroraのためのインテルのBorealisテストベッドについて語った。また、Wisniewskiは、高帯域幅メモリをHPCのゲームチェンジャーと見なす理由についても説明している。

HPCwire: Borealisとは何ですか？基本的なことを教えてください。

Wisniewski: Borealisは、Auroraシステムとそこに搭載される新技術を評価、テスト、デバッグするためのテストベッドです。2ラックのミニシステムなので、アルゴンヌにある100ラック以上のシステムと比べると小さいですが、多くのHPCセンターよりも高い計算能力を持ち、完成すればTOP500に入ることが期待されています。

このブレードは、オレゴン州のジョーンズファーム研究所に設置されており、Auroraがアルゴンヌに設置された後も、メンテナンスおよびサポートシステムとして使用されます。

	Auroraブレードのレンダリング画像。2つの「Sapphire Rapids」HBM CPUと6つのPonte Vecchio Xe-HPC GPUが表示されている。

HPCwire: BorealisはAuroraと同じシステムアーキテクチャとデザインを採用していますか？

はい、この2つのマシンは、意図的に同じアーキテクチャとデザインになっています。

HPCwire: BorealisはAuroraと同じシステムアーキテクチャとデザインですか？ノードとインターコネクトのスペックを教えてください。

ノードには8つのHPE Slightshot 11 NICがあり、インターコネクトはHPE Slightshotネットワークを利用したDragonflyトポロジーです。

HPCwire:なぜBorealisが重要なのですか？その価値は何ですか？

Wisniewski:どのベンダーも、新しいシステムをテストしたりデバッグしたりする方法を持っていますので、基本的なアイデアは新しいものではありません。Borealisが重要なのは、Auroraシステムの大きさや規模、新しい技術の数、ソフトウェアスタックの複雑さなどが理由です。

Borealisがもたらす価値は、デバッグと統合の作業を早い段階で行うことで、アルゴンヌでシステムをスケールアップする際に、小規模な機能をすでにテストしていることです。現在、マシンとソフトウェアのスタックを使用しているため、ハードウェアのインストールと拡張という重要かつ困難な作業に入る前に、複雑なソフトウェアスタックのすべてのピースが構築、統合、インストール、実行できることを確認することができます。これらの作業をできるだけ早く終えておくことで、システムを拡張したときに初めて現れる問題に集中することができます。

HPCwire: それらの課題についてお聞かせください。

Wisniewski: ハードウェアの拡張やソフトウェアの統合を始めると、シングルノードや小規模なクラスタ構成では見つけにくい問題が必然的に発生します。大規模環境でのデバッグには多くの課題があります。同期や拡張を必要とするコンポーネントが数多くあり、拡張や同期によって引き起こされるバグを確実に再現するのは容易ではありません。刺激的ではありますが、やりがいのある仕事です。

問題点はいくつかあります。1つはノード数の多さに起因するもので、特に並列処理に起因するものではありません。これはクラウドを利用しているお客にも共通する問題です。これらは確率の低いバグで、何万ものノードを実行するまで現れません。これらのバグには、ハードウェアとソフトウェアの両方が関わっています。

もう一つの種類は、不明瞭なタイミングの問題やタイミングウィンドウの問題です。これは、異なるノード間での実行の流れや、異なるノード間で実行されるイベントやアクションの予期せぬ相互作用を考慮しなかった場合に発生します。これらの問題は、大規模な場合にのみ発生するわけではありませんが、実際にテストを開始するのに十分な数のノードがあって初めて顕在化することがよくあります。4ノードのシステムで何百万、何十億ものテストを実行していればいずれは見つかるかもしれませんが、多くのノードで並行して実行している場合は、より早く問題に遭遇するでしょう。

また、大規模化してソフトウェアスタックやハードウェアに大きな負荷がかかるようになって初めて顕在化する陰湿な問題もあります。このような問題を見つけるのは難しいものです。ハードウェアでもソフトウェアでも、デバッガーとしては、小さなコードに分離され、再現性のあるシンプルなテストケースが必要です。このような問題が大規模な場合にのみ発生するのであれば、再現するためにはより多くのノードが必要です。その場合でも、どこに問題があるのかはっきりしないことがあります。すべてのノードで発生しているのか？それとも、ハングアップしているのは1つのノードだけなのでしょうか？大規模なイベントやインタラクションが必要な場合、再現するのは難しいでしょう。そのため、多くの情報を収集する必要があり、問題の根源に迫ることは非常に困難です。そういったことが起こらないことを願っています。

HPCwire: Borealisは、3つのクラスの問題すべてに役立つのでしょうか？

Wisniewski: はい。Borealisは、プログラムを十分な時間をかけて実行する必要がある、最初のクラスの問題に確実に役立ちます。Borealisを使うことで、多くのCPU時間を確保することができます。また、Borealisは十分な規模を持っているので、十分なCPU時間をかけて、可能性の低いタイミングの問題（第2クラスの問題）を示し始めてくれることを期待しています。そして第3の問題は、もしそこに何かがあり、十分なサイクルを実行すれば、うまくいけばそれに出会えることです。

HPCwire: Borealisでは、「ビッグバン」な統合を行うのでしょうか、それとも段階的なプロセスなのでしょうか？

Wisniewski: 確実に段階的に行います。まずは、ハードウェアのソフトツールコンポーネントとエンジニアリングサンプル、ソフトウェアの予備バージョンまたはオープンソースバージョンから始めます。月ごと、四半期ごとに、マシンの納入が近づくにつれて、BorealisはAuroraの本番環境に近づいていき、ハードウェアとソフトウェアは、最終的にアルゴンヌに納入するものを反映することになります。

HPCwire: 少し話は変わりますが、インテルは今年、いくつかの重要な発表を行いました。特に期待しているものはありますか？

Wisniewski: コードネーム「Sapphire Rapids」と呼ばれる次世代Xeon Scalableプロセッサ、高帯域幅メモリ（HBM）、DAOSにはみんな興奮しています。 特にHBMは、エクサスケールアプリケーションをはじめ、さまざまなアプリケーションに大きな影響を与えると思います。

メモリの帯域幅は、HPCアプリケーションのスケールアップで直面している最大の課題です。おそらく50％以上のHPCアプリケーションが、メモリ帯域幅の不足による性能上の課題やボトルネックに直面しています。それは、パフォーマンスのテントの中の長い棒のようなものです。

HBMは、メモリ帯域幅を大幅に向上させるチャンスであり、非常にエキサイティングです。地震観測、流体力学、天気予報、中性子輸送、モンテカルロ粒子輸送コードなどに大きな成果をもたらすでしょう。

Auroraスーパーコンピュータは、米国エネルギー省のCORALプログラムで調達されたHPE EXスーパーコンピュータで、2022年にアルゴンヌ国立研究所に納入される予定。インテルがプライムコントラクターを務めている。

HPCwire: 医者がヒポクラテスの誓いを立てて害を与えないことを知っています。HPCで働く人々のための類似した「誓い」について話しているのを聞いたことがあります。それについて教えてください。

Wisniewski：ソフトウェアとスーパーコンピューティングの分野では、ソフトウェアがハードウェアの邪魔をしてはならないと言っています。プログラムのスケジュールは、ハードウェアの入手とインストールにどれだけ時間がかかるかで決まるようにしたいものです。システムソフトウェアのスタックやアプリケーションには、できる限り事前に手を加えておきたいものです。

Borealisはそのようなアプローチの一例です。インテルでは、すべてのエンジニアリングチームが全力で取り組んでいます。HPEは、ソフトウェアスタックと、ラック、ストレージ、ネットワーク要素の設計を固めています。アルゴンヌはオーロラを収容するための新しい施設を建設し、研究者や科学者がコードを実行できるように支援しています。また、インテルはアルゴンヌの開発テストベッドや、DOEやECPのユーザーによる初期の科学に、初期の技術やアクセスを提供しています。私たちは、初日に重要な科学を行うために必要なすべてのものを準備することに集中しています。

HPCwire: 今でも人々はあなたにPEZディスペンサーを持ってきますか？

Wisniewski: 数年前にPEZディスペンサーを持ち始めたのは、Peta-Exa-Zettaの連続性を思い出させるためです。エクサスケールは最終的なものであるかのように語られていますが、実際には連続体の中の一点に過ぎません。私たちは将来を見据えてエクサスケールの研究を行い、さらに10倍、100倍、1000倍とスケールアップしていく方法を考える必要があります。今でもPEZディスペンサーを持ってきてくれる人がいます。そして私は、ゼタスケール・コンピューティングが実現すると信じています。

ヘッダー画像。Borealisのキャビネットパネルに表示されている画像は、Aurora上で実行する準備をしているEarly Science Projectを表しています。