Nvidia、GH200 Grace Hopperプラットフォームにより高速なHBM3eメモリを追加

Agam Shah　オリジナル記事

Nvidia Grace-Hopperは、生成AIが主流となりつつある市場向けに、CPUとGPUを緊密に統合したソリューションを提供する。性能を向上させるため、このグラフィックス・チップ・メーカーはGrace CPUとHopper GPUを含むGH200と呼ばれる新しいチップ・パッケージにHBM3eメモリを搭載した。Hopperは以前、チップパッケージにHBM3メモリを使用していた。

Nvidiaは、それぞれ72コアのCPUとHopper GPUを搭載した2つのGH200チップを、スケールアウトデータセンター向けのより大きなチップクラスタに接続する。 

HBM3eメモリはHBM3より約50％高速で、毎秒10TBの総帯域幅を実現する。CPUはNeoverse V2設計に基づいている。

SIGGRAPHの基調講演で、Nvidiaのジェンセン・フアン最高経営責任者（CEO）は、「チップは生産中で、年末くらいにサンプル出荷する予定だ」と述べた。

パッケージ内の2つのGH200チップは、282GBのHBM3eメモリを搭載し、これは従来のGH100チップの192GBのHBMメモリより改善されている。また、8ペタフロップスのAIコンピューティング能力と、10TB/秒のHBM3e性能を持つ。

このチップセットは、どんな大規模な言語モデルでも扱うことができ、「狂ったように推論することができる」とフアン氏は語った。

Nvidiaによると、このチップは3.5倍の大きさのモデルを実行でき、より高速なメモリ帯域幅で性能を向上させることができるという。

同社は、256基のGH200 GPUを、1エクサフロップのAI性能を実現する「グレース・ホッパー」スーパーコンピューターと呼ばれるシステムに搭載する予定だ。ジェンセン氏はこのシステムを、256個のGH200がすべて連動して動作する「世界最大のシングルGPU」と呼んでいる。

現在の大規模学習モデルはすべて、グレース・ホッパー・スーパーコンピューターのようなシステムでトレーニングされている。将来的には、AIがより多くのデバイスに分散されるようになるため、あらゆるアプリケーションが大規模な言語モデルに関与するようになるだろう、とフアン氏は語った。

Hopper GPUは、業務の生産性を高めるためにAIを探求する企業が増えるにつれて需要が高まっている。GPUは供給不足であり、同社もそれを認めている。

フアン氏はまた、この分散モデルに対応するため、GPUロードマップをどのように分解していくかも示した。グレース・ホッパー（Grace Hopper）スーパーコンピューターを頂点に、サーバーやデスクトップGPUなど、要求の異なるGPUに分散させることができる。 

SIGGRAPHでは、AIやグラフィックス・アプリケーション向けのRTXとL40S GPUも紹介された。