2024年のHPCを振り返って、そして2025年を展望する

Agam Shah　オリジナル記事「HPC in 2024: A Look Back and a Glance into 2025」

2024年は、ハイパフォーマンスコンピューティングの分野において、さまざまな出来事があった年だった。Top500ではいくつかの動きがあり、El Capitanが首位に躍り出たが、2エクサフロップスのマイルストーンを超えることはできなかった。

また、ハイパフォーマンスコンピューティングにおいて科学者がAIに目を向けるべきだという声も多く聞かれた。専門家は、AIは従来のコンピューティングに取って代わるものではなく、より包括的な結果を得るための支援となるだろうと述べた。しかし、AIが最終的にはより良い結果を生み出すだろうという意見も見られた。

2024年のHPCwireのトップニュースと、2025年に与える影響を振り返ってみよう。

El Capitan

El Capitanが11月のTop500リストでトップに輝いた。理論上のピークは2.74エクサフロップスだが、約1.72エクサフロップスで約60パーセントの効率性を示した。

	LLNL El Capitan

より高いベンチマーク数値が期待される。LLNLの最高技術責任者であるブローニス・デ・スーシンスキ氏は、SC2024に先立つ記者会見で、「実世界の効率性を改善するために、HPLをもう1回実行する可能性が有ります」と述べた。

挑戦者が現れる兆しがないため、この順位は今後何年も維持される可能性が高い。2番目に速いシステムであるFrontierは、11月のTop500でわずかに性能が向上した後、その性能を最大限に発揮している。また、Auroraは混合精度に重点を置いていたため、Top500で使用されたLINPACK用に設計されたものではない。ヨーロッパのJupiterが、トップ10に入る次のエクサフロップス・コンピューターとなる可能性が高い。

x.AIのColossus

x.AIの10万GPU Colossus AIクラスタは、わずか122日間で設置された、大規模システム構築における現代の驚異である。

このシステムは構築された時点でニュースとなった。まず、イーロン・マスクの所有物であり、次に、10万個のエヌビディアH100 GPUを搭載している。このシステムはSupermicroによって構築および展開されたが、Supermicroは現在、不正会計の疑いで連邦捜査を受けている。

クラウドメーカー各社が大規模システムに数十億ドルを投資しているため、今後はさらに多くのメガクラスタが登場するだろう。

CEOのローテーション

インテルにとって2024年はかなり波乱に満ちた幕切れとなった。パット・ゲルシンガー氏は、同社を本格的な製造企業へと転換するという任務を完遂できず、引退という結末を迎えた。

	AMDのリサ・スー

一方、AMDのリサ・スー氏はタイム誌の「今年のCEO」に選ばれ、ジェンセン・フアン氏と彼の黒いジャケットはハロウィンの仮装衣装として人気となった。

ここで、インテルは多くの不確定要素を抱えたまま2025年に突入した。しかし、明らかな点もある。

まず、同社は一時的にTop500システムの構築を完了した可能性が考えられる。同社には、エヌビディアやAMDの製品と競合するようなハイエンドGPUの目玉となる製品は見当たらない。

インテルの共同CEOであるミシェル・ホルタウス氏は、同社が間もなく発売するGPU「Falcon Shores」が市場で最高の製品ではないことを認めた。インテルは、ソフトウェアツールの開発者を動員し、そこから学ぶためにGPUを発売する。これは、今後のGPU開発の指針となるだろう。

また、同社はサーバーチップの予測も下方修正している。しかし、同社は「Diamond Rapids」で過去のXeonの栄光を取り戻したいと考えている。

インテルには暫定共同CEOエンジニアがいない。これは心配だ。願わくば、エンジニアがフルタイムのCEOの役割を引き継いでほしい。

さらに、RISC-V InternationalのCEO、カリスタ・レドモンドが5年間の在任を経て辞任した。RISC-V Internationalからは後継者に関する情報は出ていない。

科学者のAIアシスタント

アルゴンヌ国立研究所は、究極の科学者のアシスタントとなることを目指す、1兆パラメータのLLMであるAuroraGPTに取り組んでいると、アルゴンヌ国立研究所のポスドク研究員であるロバート・アンダーウッド氏は述べた。

ANLは、20兆トークンをベースとするこのプロジェクトについて、SC2024でさらに詳しい情報を共有した。初期の作業では、さまざまなデータセットで訓練された70億のGPTモデルが関与する。これには、PDF、テキスト、XMLをデータパイプラインに投入することが含まれる。データは、コンピュータサイエンス、生物学、生化学、材料、物理学をカバーしている。

最終的な目標は、AuroraGPTをマルチモーダルLLM（多モーダル言語理解システム）にすることである。今後1年間にわたって、チームは画像、動画、シミュレーション、気候、シーケンス、その他の情報をデータパイプラインに含める予定である。

また、HPCwireはエヌビディアの地位を脅かそうとするAIチップメーカーから多くの売り込みを受けている。AIチップでHPC市場を狙う企業には、すでにACMゴードン・ベル賞を受賞しているセレブラス社、Trainium2のAWS、TrilliumチップのGoogleなどがある。

ソフトウェアが主流に

ハイパフォーマンスソフトウェア財団（HPSF）は、ついに本格的に始動した。彼らのコンセプトは、HPCソフトウェアが世界最速のシステム上で動作できるのであれば、企業サーバーやその他のコンピューティングチェーンのシステムに移植できない理由はない、というものだ。

プロジェクトが本格的に始動し、急速に前進していることを示すため、チームは勢いよくスタートを切った。HPSFは、Spackと呼ばれるHPCパッケージマネージャー、HPC C++ライブラリKokkos、および加速システム全体にわたるコードのチューニングに役立つHPCToolkitを含む基本スタックを作成した。

また、メンバーはソフトウェアコードの迅速な開発と展開に焦点を当てた初のワーキンググループも結成した。このグループは、CI/CD運用やエヌビディアやAMDのGPUなどのハードウェアを実行するためのGitLabリポジトリへのアクセスを提供する。

混合精度

エヌビディアとAMDはすでにFP64の優先順位を下げ、混合精度コンピューティングを優先している。AIと電力効率は重要な指標となりつつあり、Top500、Green500、HPL-MxPのランキングへの関心が高まっている。

混合精度には、精度（高精度コンピューティングとの比較）、ハードウェア（エヌビディアのFP4は他のハードウェアでは利用できない）、採用、通信の面で解決すべき問題がある。

混合精度は特にHPCにとって課題である。単一の科学コンピューティングタスクでも、ワークロードや出力の精度に応じて異なる桁数の精度が必要であり、専門知識が必要となる。

「これは苦闘です… 科学分野の専門家は、ソフトウェアから最終的にはハードウェアに至るまで、私たちが取り組んでいることすべてに精通しているわけではありません」と、キング・アブドゥルアズィーズ科学技術大学（KAUST）の主任研究員であるハテム・ルタイフ氏は、SC2024の技術セッションで述べた。

混合精度の文化に対して柔軟な姿勢で臨み、異なるやり方を試みる必要がある。

LINPACKベンチマークのTop500も限界に達しつつある。

FP64は広く利用されている安全策だが、過剰な計算につながる可能性があると、技術セッションでエヌビディアのディレクターであるハルン・バイラクター氏は述べた。

例えば、AuroraはスーパーコンピュータとAI用に設計された混合システムである。AIスーパーコンピュータのベンチマークでは10.6エクサフロップスを記録し、Frontierを上回った。Frontierは、主要な高性能LINPACKベンチマークでAuroraを上回った。

IEEE FP64、FP32、FP128は従来のHPCデータタイプとみなされ、ニューラルネットワークにはエヌビディアのTF32、IEEEのFP16、GoogleのBF16が、またトランスフォーマーにはエヌビディアのFP8、量子化と推論にはFP4が使用される。

SC24 HPCwire 35の伝説的人物

HPCwireは、創刊35周年を記念して、ハイパフォーマンスコンピューティング（HPC）コミュニティに多大な影響を与えた35人の人物を毎年選出する「HPCwire 35の伝説的人物」の2024年度の受賞者を祝う昼食会を開催した。

これほど多くの著名人を一堂に集めたことで、過去35年間にわたる技術、科学、イノベーションの進歩に対する画期的な貢献により、HPCをAI加速の時代へと導いたという感覚が生まれた。

前列左から右へ：松岡聡、トーマス・スターリング、アリソン・ケネディ、ベッキー・J・ベラステギ、ジョン・グスタフソン、トーマス・ザッカリア、デビッド・キース。後列左から右へ：リック・スティーブンス、ジャック・ドンガラ、イアン・フォスター、ビル・グロップ、ダン・スタンツィオーネ、ダン・リード、ラリー・スマー、スティーブ・ウォラック。