Nvidia、初のデータセンター用Arm CPU「Grace」をキッチンキーノートで発表

Tiffany Trader

本日、パンデミックの影響で再びバーチャルに開催されたNvidiaの春季恒例のGPU Technology Conference（GTC）において、同社は史上初のArmベースのCPUを発表した。このCPUは、米国の有名なプログラマーであるGrace Hopperに敬意を表して「Grace」と名付けられた。今回の新しいArm CPUの発表は、Nvidiaが2019年にArmを全面的に採用することを宣言し、2020年9月にArmを400億ドルで買収することを提案したことを受けたものだ。

Graceは2023年にデビューする予定で、2つのHPCセンターが先行している。スイス国立スーパーコンピューティングセンター（CSCS）と米国エネルギー省ロスアラモス国立研究所は、HPEおよびNvidiaとの提携により、Graceを搭載したスーパーコンピュータを構築する計画を最初に発表している。

Nvidia社によると、Graceは、次世代Arm Neoverseコアと次世代Nvidia NVLinkインターコネクト技術を使用し、Nvidia GPUとの緊密な連携により、非常に大規模なAIおよびHPCワークロードに対応できるように設計されている。

NvidiaのCEOであるJensen Huangは、3回目のバーチャルGTCの「キッチンキーノート」で、このチップをNvidiaのGPUやMellanox部門の高性能ネットワークと組み合わせることで、Nvidiaは 「コンピューティングのための第3の基礎技術、そしてAIのためにデータセンターのあらゆる側面を再設計する能力 」を得られると述べた。

第4世代のNVLinkテクノロジーを採用したGraceは、CPUとGPUの間に900GB/sの双方向の帯域幅を実現し、今日の標準的なサーバーよりも大幅に高い総帯域幅を推進している。（Nvidiaによれば約30倍）。また、新しいアーキテクチャは、単一のメモリアドレス空間でキャッシュコヒーレンスを実現し、システムメモリとHBM GPUメモリを統合してプログラマビリティを簡素化している。

「GraceはArmの美しさを際立たせています」とHuangは語る。「彼らのIPモデルのおかげで、このアプリケーションに最適なCPUを作ることができ、Xファクターのスピードアップを実現しました。」 と述べている。同氏によると、Grace CPUは300 SPECintのレートを実現し、8枚のGPUを搭載したDGX1枚あたりのCPU性能は合計で2,400 SPECintを超えるという。これに対し、現在の8GPU DGX A100は450SPECintレートを達成している。

Nvidia社によると、現在市販されているほとんどのGPUアクセラレーションシステムは、GPUとCPUの比率が2対1以上（4対1がスイートスポットのようなもの）であるのに対し、Graceベースのシステムは、CPUとGPUの比率が1対1になるように設計されるとのことだ。Nvidiaはまだ製品を発表していないが、JensenのSPECintによるパフォーマンスの主張によると、8つのGrace CPUを搭載した8GPU DGXサーバーの開発が進行中のようだ。

Nvidiaの高帯域幅の次世代NVLinkファブリックは、2つのCPUを含む、将来のDGXシステムのすべての要素を接続する。CPUにNVLinkをネイティブサポートしているサーバーは、オークリッジ国立研究所とローレンス・リバモア研究所にそれぞれ設置されているスーパーコンピューター「Summit」と「Sierra」のベースとなったIBM Powerプラットフォームだけだ。

また、GraceはLPDDR5Xメモリ技術を採用した新しいメモリサブシステムを搭載しており、現在のDDR4の2倍の帯域幅を持ち、10倍のエネルギー効率を実現しているとNvidiaは述べている。Nvidia社のアクセラレイティッド・コンピューティング担当シニア・ディレクターであるParesh Kharyaは、先週の事前説明会で、「このメモリ・サブシステムを最適化することで、ECCや冗長性などのメカニズムを通じてサーバークラスの信頼性をサポートします」と述べている。

「この効率性は、ビットを移動させるのではなく、より多くの電力を計算に振り向けることができることを意味します」とKharyaは述べている。

Graceは、Nvidia社のHPCソフトウェア開発キットとCUDAおよびCUDA-Xライブラリによってサポートされる。

CSCSとロスアラモスでは、Graceベースのスパコンを開発中で、2023年の出荷を目指している。CSCSの 「Alps 」システムは、世界で最も強力なAI対応スパコンと謳われており、Nvidia社の混合精度演算やスパース機能を用いて、AI向けに20エクサフロップスの性能を発揮することが期待されている。HPE Cray XE（旧Shasta）アーキテクチャをベースにしたAlpsは、地球全体規模の気象・気候シミュレーション、量子化学、大型ハドロン衝突型加速器の量子物理学の境界を前進させるだろう。

Nvidia社の報告によると、その規模とCPUとGPUの緊密な結合により、Alpsは巨大なGPT-3言語処理モデルをわずか2日で学習させることができるとのことだ。これは、現在Top500の第5位（Linpackペタフロップス63.5回、「AIエクサフロップス」2.8回）にランクインしているNvidia社のスーパーコンピュータ「Selene」の7倍の速さだと、Nvidia社は述べている。

（CSCSのアルプスにおけるソフトウェア・デファインド戦略については、同センターのThomas Schultess所長のインタビュー記事をご覧ください。）

ロスアラモス研究所の科学者たちは、研究所のミッションをサポートするモデリング、シミュレーション、データ分析を容易にするGrace CPUベースのシステムを受け取るための第一歩として、Nvidia A100 GPUを導入していると報告している。ロスアラモス研究所は、新しいGrace CPUの米国での最初の顧客となることを期待しており、科学的発見のためのハードウェアとソフトウェアの設計上の選択肢を提供する、複数年にわたるコードサイン・コラボレーションに参加することになる。同研究所のGraceシステムは、HPEのCray EXアーキテクチャを採用している。

Huangは次のように述べています。「スーパーコンピューティング・コミュニティの熱意に感激し、Armを一流の科学的コンピューティング・プラットフォームにするために我々を歓迎してくれました。」

「Armは世界で最も人気のあるCPUですが、それには理由があります。エネルギー効率が非常に高く、オープンなライセンスモデルを採用しているため、世界中のイノベーターがArmを利用した製品を開発しています」と述べている。

Nvidiaのロードマップには、GPU、CPU、DPUの3つのチップが含まれている。「それぞれのチップアーキテクチャには2年間のリズムがあり、その間にキッカーが入る可能性もあります」とHuangは述べている。「ある年はx86プラットフォームに集中し、ある年はArmプラットフォームに集中します。Nvidiaのアーキテクチャとプラットフォームは、顧客や市場が望むものであれば、x86とArmをサポートします」。

Graceの登場は、ある意味では10年越しの構想であった。Nvidiaが2011年に発表した「Project Denver」は、パーソナルコンピュータ、ワークステーション、サーバー、スーパーコンピュータに対応する汎用のArm CPUを開発するという野心的な計画であった。このプロジェクトは実現しなかったが、Nvidiaは最終的に、モバイル、ロボット、ポータブルゲーム、自律走行車などの組み込み分野向けに、Arm+GPUチップ（Tegra/XaviarおよびJetson）を製造した。

本日、独自のArm CPUを発表したことに加えて、Nvidiaは、Armベースの技術に対するパートナーのサポートを強化し続けている。Huangは、Amazon Web Servicesと共同で、Arm CPUのGraviton2とNvidia GPUをEC2インスタンスに搭載することを発表した（今年後半を予定）。この新しいインスタンスは、要求の厳しいクラウドワークロード、AI、クラウドゲーミングなどをターゲットにしているとHuangは述べている。

また、Nvidia社は、Ampere Computing社とのパートナーシップにより、サイエンティフィック・クラウドコンピューティングSDKとリファレンスシステムの構築を発表した。Ampere Computing社のAltra CPUは、80個のNeoverse-N1コアを搭載し、285 SPECint rateを実現しており、「最高性能のx86と肩を並べる」とHuangは述べている。

さらにNvidia社は、チップメーカーのMarvell社とパートナーシップを結び、エッジ＆エンタープライズコンピューティングのSDKとリファレンスシステムを開発したと発表した。Marvell社のOcteonチップは、IOストレージと5G処理をターゲットにしており、このシステムはハイパーコンバージド・エッジサーバーに最適であるとHuangは指摘した。

本日のニュースラフトでは、昨年9月に発表されたケンブリッジAI研究センターの内容が無く、その中心となるのはArmベースのスーパーコンピュータになる予定だ。Nvidia社はHPCwireに対し、このプロジェクトはまだ軌道に乗っていると述べていたが、それ以上の詳細は明らかにしなかった。2020年10月、同社の担当者はHPCwireに対し、「（ケンブリッジの）Armベースのスーパーコンピュータの計画はまだ進化している」と述べ、このプロジェクトはArmの買収完了とは関係ないと語っている。

また、Nvidia社は、Cambridge-1 AI SuperPodコンピュータが準備段階に近づいており、GTC21会議の議事中にアップデートが行われる可能性が高いことを伝えた。

エコシステム全体でArmを強力にサポートし、国産のArm CPUを発表したことで、Nvidiaのフルスタック・データセンター・ソリューションに必要なすべての要素が揃いつつある。Arm社を買収するかどうかはまだ検討中だが、Nvidia社は、実際にArm社を所有しているかどうかにかかわらず、Arm社との強力な関係を示しており、これこそがIPライセンスモデルの素晴らしさなのだ。