Nvidia H100：今年は55万GPUで十分か？

Doug Eadline　オリジナル記事

このGPU不足は、Nvidia H100 GPUにプレミアをつけ続けている。最近の『フィナンシャル・タイムズ』紙の記事で、Nvidiaは最新のH100 GPUを2023年に世界で55万個出荷する見込みだと報告している。GPUへの意欲は明らかに生成AIブームから来ているが、HPC市場もこれらのアクセラレータを競っている。この数字に、スロットル付きの中国専用モデルA800とH800が含まれているかどうかは不明だ。

GPUの大部分は米国のテクノロジー企業に供給される予定だが、『フィナンシャル・タイムズ』紙は、サウジアラビアが少なくとも3,000個のNvidia H100 GPUを購入し、UAEも数千個のNvidia製チップを購入したと記している。UAEはすでに、アブダビのマスダール・シティにある国営の技術革新研究所で、「ファルコン」と呼ばれる384個のA100 GPUを使用した独自のオープンソース大規模言語モデルを開発している。

フラッグシップGPUであるH100 GPU（14,592 CUDAコア、80GBのHBM3容量、5,120ビットのメモリバス）の価格は30,000ドル（平均）という巨額で、Nvidiaのジェンセン・フアン最高経営責任者（CEO）は、生成AI用に設計された初のチップと呼んでいる。サウジアラビアの大学は、Shaheen IIIと呼ばれる独自のGPUベースのスーパーコンピューターを構築している。これは、Grace CPUとH100 Tensor Core GPUを組み合わせたGrace Hopperチップを700個採用している。興味深いことに、このGPUは、米国で学ぶことも働くこともできない中国人研究者が開発したLLMの作成に使用されている。

一方、生成AI（GAI）投資はGPUインフラ購入の資金源として続いている。報告されているように、2023年の最初の6カ月間で、GAI新興企業への資金調達は2022年通年と比較して5倍以上増加しており、生成AIインフラストラクチャカテゴリでは、Q3’22’22以降、資金調達の70％以上が行われている。

待つ価値

H100のコストは、それがどのようにパッケージ化されるか、そしておそらく何台購入できるかによって異なる。現在（8月～2023年）のH100 PCIeカードの小売価格は約30,000ドルである（リードタイムも変動する可能性がある）。Barron’sのシニア・ライターであるタエ・キムが最近のソーシャルメディアへの投稿で行った試算によると、NvidiaがH100を製造するのにかかるコストは3,320ドルだという。 これは、Nvidia H100カードの小売価格に基づくと、1000％の利益となる。

	Nvidia H100 PCIe GPU

よく報道されているように、NvidiaのパートナーであるTSMCはGPUの需要を満たすのがやっとである。GPUには、より複雑なCoWoS製造プロセス（Chip on Wafer on Substrate：TSMCの「2.5D」パッケージング技術で、複数のアクティブなシリコンダイ（通常はGPUとHBMスタック）がパッシブなシリコンインターポーザー上に統合されている）が必要だ。CoWoSを使用すると、複雑な多段階の高精度エンジニアリング・プロセスが追加されるため、GPUの生産速度が低下する。

この状況は、NvidiaのDGXシステム担当副社長兼GMであるチャーリー・ボイル氏によって確認された。ボイル氏は、遅延はTSMCの需要計算ミスやウェハー歩留まりの問題ではなく、チップパッケージングのCoWoS技術によるものだと述べている。

GPU大不況下のHPC

可用性の低下、膨大な購入量、価格の高騰に見られるように、GPU大競争はHPC市場に影響を及ぼし始めている。このトピックに関する重要な業界専門家の議論は、2023年9月26-27日に開催されるHPC on Wall Streetイベントの一環として行われる。

東海岸で長年開催されているこのイベントでは、HPCの大家であるジェイ・ボワソー氏が司会を務める。ジェイ・ボワソー氏は、サンディエゴ・スーパーコンピューティング・センターの元科学コンピューティング担当アソシエイト・ディレクター、テキサス・アドバンスト・コンピューティング・センター（TACC、米国最速の学術スーパーコンピューティング・センター）の創設ディレクター、デルの元HPC＆AIテクノロジー・ストラテジストだ。

ジェイ氏をはじめ、多くの世界的な金融界の著名人、HPCの専門家、企業、FinTechソリューションに投資する大手テクノロジー企業にぜひご参加ください。このイベントでは、4つの重要なセッション（HPC Squeezeパネルを含む）が予定されている。セッションの内容は以下の通り：

• オープンソースからサードパーティへ： FinServのためのGen AIの初期ポテンシャルを捉える
• 量子コンピューティング・アナリスト・パネル – 1年後
• GPU大不況下のHPC
• 生成AIによるデータ管理の課題

9月26～27日にニューヨークのインターコンチネンタル・タイムズスクエアで開催されるHPC + AI ウォールストリートに今すぐお申し込みください。

編集部注：HPCwireを発行するTabor Communicationsは、HPC + AI Wall Streetイベントもプロデュースしています。