SC24観察：中国、政治、RISC-VおよびCXL

Agam Shah　オリジナル記事「SC24 Observations: China, Politics, RISC-V and CXL」

過去のスーパーコンピュータ会議のテクニカルセッションは、常に豊富な情報に満ちていた。SC2024も例外ではなく、業界屈指の頭脳を持つ科学者たちがテクノロジーについて議論し、物議を醸すトピックについて意見を戦わせ、議論を前進させていた。

以下に、それらのテクニカルセッションのいくつかについて、その様子を報告する。

予期せぬ発表

インテルは、Gaudi 2に関するプレゼンテーションで、次世代AIチップ（Jaguar Shoresと呼ばれる）を突然発表した。

このAIチップの名称は、インテルの一部門であるハバナ・ラボラトリーズのプレゼンテーションの中で、AIチップのロードマップに突然現れた。

インテルは、このイベントで大きな発表は行わなかった。このスライドは、インテルの広報チームのチェックをなぜか通過してしまった。

また、バルセロナ・スーパーコンピューティング・センターは、RISC-Vプロセッサを同センターのスーパーコンピュータ「Marenostrum 6」に搭載することを発表した。

「BSCは、MareNostrum 6の一部を…自国産のRISC-Vプロセッサで構成することに尽力しています」と、同スーパーコンピューティングセンターの研究員兼グループマネージャーであるアントニオ・J・ペーニャ氏は述べた。

RISC-Vチップが単なるアクセラレータなのか、それとも重厚長大なアウトオブオーダーCPUなのかは不明だが、インテルやARMの独自チップ設計を排除するというヨーロッパの優先事項に沿うものである。

中国とTop500

Top500リストは、かつてのように世界的な現象ではなくなっている。このリストは8～10カ国によって独占されており、上位3システムは米国エネルギー省が運営する研究所に設置されている。

以前は熱心に参加していた中国は、HPC開発を内製化し、Top500リストから姿を消しつつある。

「彼らは非常に強力なシステムを所有している。Top500にランクインしているマシンの後継機だが、それらのマシンに関する情報を共有しようとしない」と、HPCの専門家であるジャック・ドンガラ氏は述べた。

科学コンピューティングに関する論文の中には、それらの新しい中国製マシンの仕様が記載されているものもあり、Top500はピーク性能を推定することができる。中国はHPLベンチマークを提出していない。

もし中国がHPLベンチマークを提出すれば、「おそらく中国のマシン3台がトップ10に入るだろう」とドンガラ氏は述べた。

RISC-V企業もチップではなくチップレットを販売している

RISC-Vチップの販売は企業にとって損失を意味する。

この状況は、チップアーキテクチャについて議論するためにSCワークショップに集まったRISC-Vベンダーにも明らかになっている。

昨年までは、威勢の良かったRISC-Vベンダーは、自社のチップがx86やARMプロセッサとほぼ同等の性能を持つと予測していた。

RISC-Vは、それには程遠い。物理的なRISC-Vプロセッサを搭載したプロトタイプのサーバーは、同等のx86やARMチップと比較すると性能が低い。

RISC-Vは、必要に応じてモジュールを差し込むことができる柔軟性があり、チップレットに適している。

チップ開発者はモノリシックチップを構築する必要はなく、モジュールを入れ替えられる。あらゆる種類の相互接続、ストレージ、I/Oと組み合わせることができる。

また、無償であり、インテルやARMからの電話に応答しないという屈辱を味わう必要もない。

RISC-Vベンダーは設計を販売するだけでよく、物理的なチップの製造について心配する必要はない。

エスペラント社とテンストルレント社の2社が、チップレット戦略について説明した。

エスペラント社は、柔軟な構成を可能にするチップレットを計画している。「より小さいチップレットだが、顧客のニーズに応じて、高いパフォーマンスが必要か、低いパフォーマンスでよいかを柔軟に構成できます」と、同社のCEOであるデビッド・ディツェル氏はプレゼンテーションで述べた。

平に見て、RISC-Vはまだ進化の途上にあり、実用化にはまだ長い年月がかかる。この組織は、技術サポートをRISC-Vのメンバーに依存している。

トランプ政権による政府のHPC支出への圧力

政治的な問題はSC2024のフロアには持ち込まれなかった。しかし、ドナルド・トランプ次期大統領が無駄な支出を削減すると公約していること、そしてそれがスーパーコンピュータへの連邦政府支出に影響を与えるかどうかについて、一部の参加者は懸念していた。

次期政権は、連邦契約や国防総省の調達における無駄な支出を嫌っている。トランプ氏は、イーロン・マスク氏とヴィヴェク・ラマスワミー氏を起用し、支出項目を一つずつ評価することでコスト削減を図っている。

SCのサイバーセキュリティワークショップの参加者は、次期政権のメンバーの一部が、無駄な支出をHPCやスーパーコンピュータの契約と公に結びつけたと述べた。

参加者は、国防総省の契約および調達に関するコンプライアンスを規定するサイバーセキュリティ基準を定めたDFARS（国防連邦調達規則補足）について指摘した。DFARSはまた、スーパーコンピュータ技術の外国への輸出を制限し、スーパーコンピュータ施設におけるセキュリティプロトコルを義務付ける役割も果たしている。

参加者は、HPCの導入を安全に行うための新たなガイドラインを策定しているNISTが、情報セキュリティ基準の策定にも取り組んでいるISOなどの国際機関と協力していない理由を尋ねた。

米国標準技術研究所（NIST）のパネリスト、ヤン・グオ氏は、「米国政府には独自の要件があり、我々はそれを管理したいと考えています」と述べた。

また、国際標準は米国政府が定めるコンプライアンス基準を満たさない可能性もある。だからこそ米国にはNISTがあり、グオ氏によると、NISTは米国政府の基準を定めているという。

CXLは限界に直面しているが、死んではいない

エヌビディアはAIインフラ開発を牽引している。同社のCPU、GPU、DPUはあらゆる場所で使用されている。CXLのような他のものは重要ではない。

例えば、昨年のTop500に新たに導入されたシステムの67%にエヌビディアのGPUが搭載されていた。また、新システムの約46%にはエヌビディアのCPU、GPU、またはその両方が搭載されている。

アナリストらは、エヌビディアのインフラストラクチャの優位性が、インテルやAMDなどのエヌビディア以外のチップメーカーによる相互接続技術であるCXLの終焉を招く可能性があると推測している。しかし、CXLコンソーシアムは長期的な展望に立っている。

CXLコンソーシアムは、SC2024の講演で興味深い指摘を行った。AIは常に、より多くのメモリ、ストレージ、およびスペースを必要とするが、CXLは、アクセラレータ、メモリ、ストレージ、およびその他の重要なコンピューティングリソースをプールする役割を果たす。

持続可能なスーパーコンピュータに関するワークショップでは、CXLが何度か言及された。HPEのマイケル・ウッドアクレ氏は、CXLはHBMメモリープールを統合メモリープールに連結することで、深刻なメモリー問題を解決できると述べた。

CXLは現在バージョン3.1で、バージョン3.2が控えている。

AIが現在のHPC設計の弱点を露呈

すべてのTop500システムを合わせると、約1ギガワットの電力を消費しており、ハイパースケーラーはすでにAIシステムの拡張に向けて原子力発電所を視野に入れている。

このような開発は持続可能ではなく、AIもまた現在のシステムの弱点を露呈している。エクサスケールを超える効率的なシステム拡張に向けた現実的で突飛なアイデアが数多く技術セッションで共有された。

そのアイデアの1つは、特定のニーズに基づいてシステム全体にチップレットを分散させるロボットシステムを構築するというものだった。

オークリッジ国立研究所のジェフリー・ベッター氏は技術セッションで、今後10年間のスーパーコンピュータ開発において、チップレットは重要な役割を果たすだろうと述べた。

チップレットは歩留まりの懸念から考案された。ダイはそれほど大きく作ることができないからだ。チップレットにより、ASIC、GPU、CPUなどのIPを簡単に交換することができる。

もう一つのアイデアは、パフォーマンスの向上が期待できるレガシーコードの近代化であった。これはすでに実施されている。ソフトウェアとハードウェアの共同設計も話題の一部であった。

別のパネリストは、ニューロモーフィック・コンピューティングなどの新しいパラダイムを使用して、コンピューティングの規模を拡大し、消費電力を削減することを提案した。