Raja Koduriと松岡聡、SC21でHPCの未来を語る

Tiffany Trader

HPCwireの編集長は、インテルのRaja Koduri氏と理研の松岡聡氏をセントルイスにおいて、SC21での経験、エクサスケールの次に来るもの、そしてなぜ彼らが協力しているのかについて、率直な会話を行った。

インテルのアクセラレイティッドコンピューティングシステム＆グラフィックス（AXG）グループのシニアバイスプレジデント兼ゼネラルマネージャーであるKoduriは、来年アルゴンヌ国立研究所に導入される予定のGPUアクセラレイティッドAuroraエクサスケールシステムの設計と実装を担当するチームを率いている。また、理化学研究所計算科学研究センター長の松岡聡は、Armベースの「富岳」システムの設計者の一人であり、世界ランキング1位のスーパーコンピュータを開発している。

Tiffany Trader： こんにちは、HPCwireの編集長、Tiffany Traderです。今日私と一緒にいるのは、理化学研究所計算科学センター所長の松岡聡さんと、インテルコーポレーションの上級副社長兼アクセラレイティッドコンピューティングシステム＆グラフィックスグループ（AXG）のゼネラルマネージャーであるRaja Koduriさんです（彼の上着にはAXGの文字が見えます）。私たちはセントルイスでSC21に参加しています。ここでは、SC21での活動や今後の展望についてお話したいと思います。私たちは今、エクサスケールの前夜、つまりエクサスケールの頂点に立っています。そして、次のステップは何でしょうか？

松岡さん、トップシステムであるスーパーコンピュータ「富岳」の革新者であり、設計者でもありますね。「富岳」は、Top500のリストで4回にわたってナンバーワンのシステムとなっています。また、HPCGやHPL-AIでも1位を獲得しており、すでにエクサスケールの結果も出ていると思いますが、いかがでしょうか。今回のSC21での展示はいかがですか？

松岡聡氏：まず第一に、ライブであること、そしてライブであることで、Zoomでは得られない多くのインタラクションが得られることを実感しています。もちろん、ここでの交流はCOVIDの注意事項に基づいて慎重に行われています。また、さまざまな機関や研究者と話をしたり、研究仲間と再会したり、Raja氏のような著名人と会って、今後の方向性について集中的に話し合ったりと、将来の方向性について多くの意見を得ることができました。

Trader：Koduriさんのグループは、米国初のエクサスケールシステムであるスーパーコンピュータ「Aurora」の目玉となるGPU「Ponte Vecchio」の開発に尽力されていますね。今回の展示会では、あなたや同僚がPonte Vecchioについて語り、その詳細を発表しました。また、OneAPIについても語っています。今回のショーはいかがでしたか？

Raja Koduri氏：まず最初に、このライブに来れたことをとてもうれしく思います。率直に言って、このショーに来たのは、多くのパートナーやお客様、そして松岡さんのような方々がはるばるここまで来てくれたからです。そのため、この機会を逃すことはできませんでした。松岡さんがおっしゃっていたように、顔を合わせて次世代のアイデアや5年後の方向性などを話し合うことができるのは、何よりも素晴らしいことです。改めて、松岡さん、世界ナンバーワンのスパコンおめでとうございます。

来年は、米国のエクサスケール・コンピュータがトップになるような数字を発表してくれることを期待しています。もちろん、Ponte Vecchioがそのために大きな役割を果たしていることはご存じのとおりで、我々は懸命に取り組んでいます。インテルとしては、2022年のSapphire Rapids、HBMを搭載したSapphire Rapids、Ponte Vecchioといった大きな製品を出荷し、お客様に提供します。ですから、いろいろな意味で、このスーパーコンピューティングは2022年の前兆であり、2022年は私たちにとって大きな年なのです。2022年は我々にとって大きな年になります。OneAPIを新しいアーキテクチャに対応させるためのソフトウェア開発や、ワークロードのチューニングなど、さまざまな作業を行っています。アルゴンヌ国立研究所のパートナーと協力して、多くのHPCアプリケーションを実現するなど、通常の厳しい仕事や、製品を出荷するために最後に登らなければならない急な坂道など、すべてが今の私たちの仕事です。

Trader：松岡さん、理研の「富岳」とArm A64FXチップについて、今後の予定を教えてください。

松岡聡氏：まず、「富岳」は現在運用中です。昨年の今頃はプリ・プロダクションだったのですが、2021年3月に運用を開始しました。それ以来、稼働率がどんどん上がって、今ではかなり満杯になっていますが、これはとてもすごいことです。16万ノードのマシンに800万のコアを搭載しています。1回の大きな実行ではなく、多くのアプリケーションで、かなりの利用率が得られています。エクサスケール・マシンへの需要があるのですね。エクサスケールへの道を歩み始めた当初は、エクサスケールの性能を誰が使うのか、と言っていました。しかし現在では、マシン全体をインスタンスとして利用する模範的なアプリケーションがあります。また、アプリケーションユーザのグループもあり、様々なアプリケーションが定期的にマシンを満杯にしています。もちろん、私たちはソフトウェア・スタックを常に改善しようとしています。ハードウェアはほぼ完成していますが、細かな改善ができるかもしれません。しかし、最も重要なことは、ソフトウェアやシステム・ソフトウェア・アプリケーション、アルゴリズムを改善し、従来とは異なる分野、ビジネスや産業での利用を通じて、スーパーコンピューティングの有用性をより幅広い分野に広げることです。そしてもちろん、「富岳」を将来のアーキテクチャの研究にも活用していきます。次世代のマシンを作るときには、必ず現世代のマシンを代理として、またベースとして使います。ですから、私たちはこれらに着手することでとても忙しくしていますし、成長していますし、採用もしていますので、興味のある方は一緒に働きましょう。

Trader：これがあなたのオファーですね。それは非常に素晴らしいビジョンであり、最も重要なことである社会への貢献に結びついています。Koduriさん、最近インテルのHPC、スーパーコンピュート、スーパーコンピューティンググループにいくつかの変化がありましたが、スーパーコンピュートグループの今後のビジョンは何でしょうか？

	Intel Architecture Dayで公開された、CPUにSapphire Rapids HBMを2基、GPUにPonte Vecchioを6基搭載したAuroraブレードのレンダリング画像（2021年8月撮影）

Raja Koduri氏：ええ。インテルでは、Pat Gelsingerが戻ってきたことで、スーパーコンピューティングに新たな情熱を持っています。私たちにとってスーパーコンピューティングとは、大きな研究所にある国立のスーパーコンピュータだけではなく、地球上のすべての人がスーパーコンピュータを利用できるようにする必要があると考えています。そのためには、エクサスケール・コンピューティングを誰もが利用できるような未来を想像しています。つまり、エクサスケール・コンピューティングを実現するためには、電力を下げ、キロワットでエクサスケールを出す必要があります。また、コストも下げる必要があります。私たちは、2022年と2023年にエクサスケール・スーパーコンピュータを構成するコンポーネントを統合する技術を開発することに全力を注いでいます。そして数年後には、すべての大学がエクサスケール・コンピュータを購入できるようなレベルまで下げることを目指しています。そして…エクサスケールを縮小するだけでなく、大規模なコンピューティングセンターで次の桁のコンピューティングを可能にするのです。ゼッタスケール、つまり次の1000倍という言葉には誰もが身震いしますが、テクノロジー業界ではそれが当たり前なのです。だからこそ、私たちは仕事に打ち込み、技術を生み出すことができるのです。だからこそ、Pat Gelsingerが戻ってきて、我々がスーパーコンピューティングに夢中になっているエキサイティングな段階なのです。

Trader：素晴らしいですね。そして、ゼッタスケールが次のマイルストーンとなるわけですね。松岡さんは、エクサスケールの意味について明確なビジョンをお持ちですが、ゼッタスケールの意味についてはお考えですか？

松岡聡氏：そうですね、エクサスケールに出会ったとき、それはLinpackのエクサフロップスに到達することではありませんでした。2010年当時、我々が持っていた「京」に比べて、桁違いに性能が向上したマイルストーンを達成するということです。2桁、いや3桁のスピードアップを達成することで、アプリケーションの性能やポートフォリオを大幅に向上させることができるでしょう。また、Koduriさんが言ったように、世界の大きな問題を解決するために、より身近なものにすることもできるでしょう。これが私たちのアプリケーション・ファーストの哲学です。というのも、スーパーコンピュータのコミュニティではパフォーマンスがすべてだと思われているかもしれませんが、実際にパフォーマンスを測定し、パフォーマンスを分析する方法は、もっと規律のある他のエンジニアリングコミュニティと比較しても、私の基準にはまだ達していません。そこで私たちが計画しているのは、現状がどうなっているのかを確かめることです。DODのパートナーや業界の協力者、富士通やインテル、あなたのライバル企業など、多くの人を巻き込んで、基本的に基準を設定し、アプリケーションの性能を10倍、100倍に向上させたらどうなるのか、どのようなアーキテクチャが必要なのか、必要なアルゴリズムの変更に取り組むのかなど、アプリケーションを第一に考えて、次世代のマシンへとつなげていきます。これが私たちの哲学であり、今後10年間の行動指針となるでしょう。

Raja Koduri氏：ワークロードについてですが、これらの大型マシンで実行されようとしている現在のワークロードを理解すること、そして富岳や松岡さんのコンピュータがすでに多くの興味深い研究を可能にしていることを、私たちはフォローしています。これらはすべて、次世代のマシンをどのように構築するかの指針となります。1桁でも2桁でも3桁でも、どんな発明をするか、どれだけ理解を深めるかにかかっています。ここで松岡さんがおっしゃったように、特に大規模なワークロードについての理解はまだ浅いのです。そうですね。私はワークロードの専門家なので、ボトルネックの詳細を調べることにとても興奮しています。

Trader：もうひとつ質問がありますが、これは大きな質問です。ここには、Armシステム（Armスーパーコンピューティングシステム）の主要な開発者であり、チャンピオンでもあるKoduriさんがいますが、彼はインテルのGPUで加速するスーパーコンピュータ/エクサスケールシステムの設計をリードしています。なぜ私たちは一緒にいるのですか？

Raja Koduri氏：ええ、あなたが最初に話しますか？

松岡聡氏：はい。まず第一に、スパコンがより広いIT市場に浸透していることを認識しなければなりません。そしてもちろん、その一方で、アクセラレーションを実現するためには、ある種の特殊性やカスタマイズ性を常に求めています。A64FXでさえ、標準的なArmプロセッサでありながら、AVX-512のような新しいベクトル拡張としてチップ内にアクセラレーションを搭載しています。インテルのCPUも、CPUだと思っていても、例えば386とLakeやRapidsのように、アーキテクチャだけでなく、命令セットやアクセラレーション機能も含めて、全く別のプロセッサになっているのです。また、GPUは非常に汎用的になってきており、GPUを特殊用途と考えることはもはや妥当ではなく、本当の意味での汎用となっています。コンピューティングモデルは少し違いますが、GPUのプログラミングは非常に簡単で、堅牢なソフトウェアスタックがあります。つまり、ソフトウェアのエコシステムが重要なのです。そして、Arm、x86、GPUなど、さまざまなプログラミングモデルの選択肢があります。しかし最終的には、非常に安定したソフトウェア・エコシステムを持つことが重要であり、その組み合わせも重要です。その上で、10倍の速度をもたらすかもしれないがソフトウェアを持たない真新しいカスタマイズされたアクセラレーションではなく、何を拡張できるかを考えて構築するのです。だからこそ、GPUとArmは非常にうまく連携できると思うのです。

Raja Koduri氏：そうですね。加えて言えば、OneAPIやOneDNNのようなコラボレーションでは、すでに大きな成果を上げています。例えば、OneDNNでは、松岡さんのチームが、シストリックを行うためにベクトル計算を使う方法を見つけ出した仕事をしました。AVX-512であろうと、ベクトルエンジンを持っている人であろうと、誰でも利用できるようになりました。同様に、インテルがコンパイラで行っている自動ベクトル化についても、GCCやLLVMに導入したばかりです。そして、それを富岳が利用できるようにしたのです。先ほどお話した「1000倍」を達成するために、このようなコラボレーションを行い、彼らがマシンで何を理解しているのかを把握し、ロードマップにあるいくつかの技術、例えば、シリコンフォトニクスの統合などは、私にとって非常にエキサイティングなことですし、興味深いキャッシュやメモリの統合もあります。私たちは、松岡さんのような方が次のコンピュータを作るときに、ぜひ協力したいと思っています。彼がArm、x86、RISC-V、GPU、あるいはその組み合わせなどを選択したとしても、特定のマシンや仕事にとって何が正しいかを考えて選ぶべきだと思います。

松岡聡氏：MLPerf HPCベンチマークのCosmoFlowでは、富岳の80,000ノードで科学的なAIコードを学習させて1位を獲得しました。学習モジュールの基礎となるコアはOneDNNで、これはインテルが開発したものですが、Arm版は富士通と共同で開発しました。つまり、Arm版のOneDNNは我々が作ったものですが、インテルとの激しい共同作業で行われました。インテルはx86に特化した企業ではなく、さまざまな形でのコラボレーションにとても前向きですね。

Raja Koduri氏：そして、それがPatダーシップのもとでの新しいインテルです。「オープン」とは、我々のトップアーキテクト、最高のアーキテクトです。そして彼は、スタックの上下を問わず、この点に傾注するつもりです。

Trader：今回のパートナーシップとコラボレーションについて、今後の具体的な目標があれば教えてください。Koduriさんはどうしますか？

Raja Koduri氏：間違いなく、松岡さんがおっしゃったように、こうしたプログラムは10年単位で行われることもあります。そして、多くの技術がありますので、何が意味を持つのかを共同で検討し、時期が来れば、何か共通のコラボレーションポイントに到達すれば、必ず世界に向けて発表します。しかし、それよりもワークロードを理解し、次世代システムの目標を理解することの方が重要であり、私たちは何年も前から柔軟に技術ロードマップを共有しています。

Trader：松岡さん、Koduriさん、今日はお話をありがとうございました。次の機会を楽しみにしています。ありがとうございました。