GPUはまだ必要？　HPCの専門家「そうではないかもしれない」と語る

オリジナル記事「Are GPUs Still Needed? Maybe Not, HPC Experts Say」

先月、TOP500リストに「LineShine」というGPUレススーパーコンピュータがランクインしたことで、スーパーコンピュータのアーキテクチャに関する疑問が浮上した。具体的には、AIや科学計算のワークロードを実行するために、依然としてGPUは必要なのかということだ。この疑問については、HPCの専門家であるジャック・ドンガラ、松岡聡、トルステン・ホーフラーの3名が執筆した新しい論文で最近取り上げられた。

「Do We Still Need GPUs? Rethinking AI and Scientific Computing on Matrix-Enhanced CPUs」と題されたこの新しい論文で、テネシー大学、理研（RIKEN-CSS）、チューリッヒ工科大学（ETH Zurich）にそれぞれ所属するドンガラ、松岡、ホーフラーの3人は、従来のHPCと新しいAIワークロードの両方を実行するための技術的要件について深く掘り下げている。

彼らは、HPCとAIワークロードで扱われるさまざまなデータ型、および汎用GPUがそれらにどのように対応してきたかを検証している。さらに、現代のスーパーコンピュータアーキテクチャ全体におけるボトルネック、プログラミングモデル、そしてデータ型とハードウェアの適合性についても分析している。

結局のところ、彼らは、現代のCPUが、そもそも人々がGPUに目を向けるきっかけとなった機能の多くを取り入れているため、GPUは必要ないかもしれないという結論に達した。

GPUの台頭

HPCの専門家たちは、過去10年間にわたるGPUの台頭を記録した。これにより、CUDAプログラミング環境に大きく支えられてGPU市場の支配的サプライヤーとなったエヌビディアは、世界で最も裕福な企業となった。

エヌビディア GPUの性能推移（画像提供：Hartwig Anzt、TUM）

 

「この成功の理由は容易に理解できる。GPUは、最適化されたデータ型を用いた膨大な浮動小数点演算スループット、高密度線形代数や行列間演算における優れた効率、高いメモリ帯域幅、そして多様な形式のデータ並列計算を提供するからだ」と彼らは記している。「現代のAI、特にディープラーニングは、GPUの強みを活かして形成されており、多くの科学アプリケーションも、その強みを活用するために書き直されている。」

科学計算コミュニティやAIの先駆者たちがGPUを採用した主な理由は、「従来のCPUには、新興のAIやハイパフォーマンスコンピューティングのワークロードに対応するための十分な並列演算能力やメモリ帯域幅が欠けていた」からだと、彼らは論文の中で述べている。

重要なのは、そのデバイスがGPUと呼ばれるかどうかではなく、「適切な計算構造、メモリシステム、プログラミングモデル、および数値計算能力を備えているかどうかだ」と著者らは記している。GPUの能力はこれらの要件を満たしていたが、CPUの能力は満たしていなかった。

アプリに合わせたハードウェアの設計

ハードウェアもソフトウェアも、孤立して開発されるものではない。双方とも、ある程度は互いの動向に影響を受けながら進められる。両者が十分に密接に結びついている場合、我々は「共同設計（コデザイン）」。という用語を用いる。

とはいえ、あまり変化しない中核的な計算要件、いわば「カーネル」と呼ばれる要素がいくつか存在する。行列とベクトルは、AIと科学計算の多くの分野において主要なデータ型であり、したがってハードウェアにもそれらが求められる。

具体的には、AIの学習と推論は、行列・行列乗算、畳み込み、アテンションカーネルが中心を占めており、これらは「高度に並列化されたハードウェアに極めてよく適合する」と、ドンガラ、松岡、ホーフラーは記している。

科学計算の世界では、密線形代数の計算が、固有値ソルバー、因数分解、シミュレーションコード、最適化、不確実性定量化、そして新興のAI支援モデリング・シミュレーションといったワークロードの中核であり続けている。

過去10年間、これらの要件を満たすという点において、GPUはコストパフォーマンスの面で最大の効果をもたらしてきた。しかし、今後もそれが続くという理由はない。

LineShineのArm LX2プロセッサとSMEおよびSVEエンジンの構成図（画像出典：ジャック・ドンガラ著『Report On The Chinese LineShine System』）

 

「もしCPUに、高帯域幅を備え、これらの演算に対して高いスループットを実現できる適切なデータ型をサポートするベクトルおよび行列エンジンが搭載されていれば、GPUが歴史的に持っていた最も重要な利点の一つは薄れることになる」と著者らは記している。

まさにこれが、現在起きていることだ。ARMプロセッサにおいて、Scalable Vector Extension（SVE）およびScalable Matrix Extension（SME）が追加されたことで、ARMプロセッサはあらゆるサイズのベクトルに加え、線形代数に基づく科学計算ワークロードや最新のAIソフトウェアの中核となる行列演算も処理できるようになった。先週TOP500で1位を獲得した中国の新型スーパーコンピュータ「LineShine」は、ARMのSVEおよびSME拡張機能を活用し、GPUレスアーキテクチャにおいて極めて高いレベルのFP64演算を実現した一例だ。IntelのAVXおよびAMX拡張機能も、x86チップに対して同様の機能を提供している。（IBMの最新POWERプロセッサも、行列およびベクトル演算エンジンを搭載している。）

「これらの機能が高速スループットで実装され、十分なメモリ帯域幅と組み合わせられれば、CPUは単なるスカラー制御プロセッサにとどまらず、真の数値演算エンジンとなる」と、ドンガラ、松岡、ホーフラーは記している。

並列演算はもはやボトルネックではない

演算能力がボトルネックだった時代には、それを克服するために大型で高性能なGPUを採用するのが理にかなっていた。しかし、一部のワークロードにおいては、エヌビディアやAMDが最新のGPUでもたらした演算能力の大幅な向上は、システムがデータを十分に速くGPUに供給できないため、実質的に無駄になっている。

多くの場合、GPUはデータ不足に悩まされている。2つのGPUと1つのARMベースのCPUを組み合わせたエヌビディアの「Grace Blackwell」や「Rubin Vera」といったスーパーチップは、工学の驚異である。しかし、大量のHBMや極めて高速なNVLinkインターコネクトを備えていても、多くのワークロードは以前ほどスケーリングせず、追加コストや複雑さが負担になりつつある。

「CPUメモリとGPUメモリの間でデータを移動させることは、レイテンシを増大させ、エネルギーを消費し、プログラミングを複雑にし、アプリケーションに複数のメモリ空間の管理を強いることになる」と、ドンガラ、マツオカ、ホーフラーは記している。「統合メモリモデルや高速インターコネクトは役立つが、その複雑さを完全に解消するわけではない。」

FLOPsは帯域幅を上回っている（出典：Gholamiらによる「AI and Memory Wall」）ru

 

行列およびベクトル演算エンジンを備え、十分なHBMを搭載した単一の強力なCPUを入手できれば、OS、通信、制御フロー、数値カーネルも処理する単一のプロセッサによって管理される単一のメモリアブストラクションを通じて得られるメリットにより、GPUベースの構成を上回るセットアップが実現できるかもしれない。繰り返しになるが、市場ではまさにそのような動きが見られるようだ。

混合精度

著者らはまた、混合精度のワークロードに対応するプロセッサの重要性についても論じている。多くの科学計算ワークロードではFP32やFP64による高精度が求められる一方で、今日の新しいAIワークロードは低精度で実行した方が最適なパフォーマンスを発揮する。FP4、FP16、FP32、FP64、INT8から、ブロックスケール化されたFP8やFP4に至るまで、あらゆる精度範囲を網羅できるプロセッサを持つことが重要だ。

「しかし、低精度の行列演算には、本質的にGPU特有のものなど何もない」と、ドンガラ、松岡、ホーフラーは記している。「複数の精度をネイティブにサポートするCPUは、このモデルに非常に適している。低精度で大量計算を行い、高精度で累積や補正を行い、必要に応じて倍精度を使用することができるのだ。」

プログラミング性

演算がボトルネックだった時代には、たとえそのモデルがコストを増大させ、プログラミングを複雑にしたとしても、GPUを追加することによる複雑さの増大は理にかなっていた。しかし、ベクトル／行列処理機能の強化や大量のHBMの搭載により、CPUの性能がGPUレベルに近づいている現在では、このモデルはそれほど理にかなっていない。

「GPUは非常に効果的だが、多くの場合、特殊なプログラミングモデル、入念なカーネル設計、メモリ階層の管理、そして占有率、旧来のモデルにおけるスレッドの分岐、データ配置への配慮が必要となる」と著者らは記している。「高い性能を実現するには、依然として最適化されたライブラリ、入念なデータレイアウト、コンパイラのサポート、そしてアルゴリズムの再構築が必要となる。

	（画像提供：ジャック・ドンガラ）

「しかし、プロセッサがアクセラレータのような機能を組み込んだ汎用CPUのままであれば、その道筋はより単純になるかもしれない」と彼らは続ける。「GPUを独立したデバイスとして扱うのではなく、プログラマは、適切なデータ型に対応したスケーラブルなベクトルおよび行列命令と、高帯域幅メモリを備えた強力なCPUとして認識する。そうすることで、不規則なワークロード、動的な制御フロー、適応型手法、疎行列計算、および密結合シミュレーションへの対応が容易になる。」

著者らは、科学計算のニーズにおける「ロングテール」を扱うという点において、CPUにはGPUに対して固有の利点があると主張している。繰り返しになるが、GPUが活用可能な生の処理能力を提供できるのであれば、その利点は克服されるかもしれない。しかし、その生の処理能力という優位性が損なわれると、GPUコンピューティングに伴う追加コストが重くのしかかってくる。

「科学計算は、密行列の乗算よりも幅広い」と、ドンガラ、松岡、ホーフラーは記している。「多くの重要なアプリケーションには、疎行列、グラフ状のデータ構造、適応メッシュ、粒子、マルチスケール結合、不規則なメモリアクセス、グローバルリダクション、分散システム間の通信などが含まれる。GPUはこれらのワークロードの多くを処理できるが、密テンソル演算に比べて効率性を達成するのは往々にして困難だ。CPUは伝統的に、レイテンシに敏感で、分岐が多く、不規則な計算に適している。もしCPUが強力な密線形代数性能も備えていれば、ワークロードの両面、すなわち規則的で計算集約的なカーネルと、それを取り巻く不規則なオーケストレーションの両方を処理できる。これにより、アプリケーションをCPUとGPUの間で不自然に分割する必要性が減り、不要なデータ移動が排除される。」

AI事情

著者らは、科学計算には複雑な細部や奇妙な不規則性が数多く存在し、GPUへの適応に伴う困難が、GPUがもたらす純粋な性能向上を相殺してしまう可能性があると論じている。この場合、CPUのみを用いた設計が理にかなっているかもしれない。

しかし、AIにおいては必ずしもそうとは限らない。前述の通り、ディープラーニングは本質的にGPUの能力を中心に構築されており、これは業界全体にわたるコデザイン（共同設計）の一例だ。Frontierモデルの学習をCPU上で行うことは、行列演算エンジンだけでなく、メモリ帯域幅、通信性能、ソフトウェアサポートにも多大な負荷がかかるため、非常に困難な作業となるだろう。「それは高いハードルだ」と著者らは記している。

しかし、重要なAIワークロードはトレーニングだけではない。また、ここHPCwireで過去6か月間にわたって報じてきたように、AI推論はますますCPU上で実行されるようになっており、CPUは「再び注目されている」のだ。HPCの専門家たちは、AIは単一のものではなく、AI推論のプリフィルやデコード段階にとどまらないと指摘している。

「推論、微調整、科学的な機械学習、サロゲートモデル、グラフニューラルネットワーク、スパースモデル、そしてシミュレーションワークフローに組み込まれたAIは、行列拡張機能とHBMを備えたCPU上で非常に効率的に実行される可能性がある」と彼らは記している。「こうしたケースでは、統合性とデータの局所性が、純粋なテンソルスループットと同じくらい重要になるかもしれない。」

最終的な分析として、HPCの専門家たちは、これまでGPUを使って実行されてきたワークロードの多くを、CPUが効果的に引き継いで実行できると主張している。DOE研究所、大学、大手企業のスーパーコンピュータ施設にとって、そのメッセージは明確だ。GPUベースのシステムが必須だという考えに縛られてはならない。

「したがって、最も説得力のある主張は、GPUが役に立たないということではない。そうではない。GPUは極めて強力であり、今後も重要であり続けるだろう」と、ドンガラ、松岡、ホーフラーは記している。「論点は、GPUを魅力的にしていたアーキテクチャ的特徴をCPUが取り込むように進化すれば、GPUは根本的に必要ではなくなるということだ。SVE/AVX、SME/AMX、HBM、多精度形式、行列乗算機能を備えたCPUは、もはや従来のCPUではない。それは、アクセラレータ級の数値演算機能を備えた汎用プロセッサである。」

HPCwireの寄稿者であるダグ・イードライン氏は、この論文が重要な点を指摘しており、自身が信条としている原則を裏付けていると述べている。

「一般論は常に特殊な事例を包含するものだ」とイードライン氏は語った。「このシナリオは長年にわたりCPU市場で繰り返されてきた。CPUの製造コストを考えると、可能な限り大きな市場に対応せざるを得ず、現在、AIがその市場を定義しているのだ。」

この論文は https://bit.ly/no-gpus からダウンロードできる。