ハイバンド幅フラッシュ（HBF）とは？AIのメモリの壁を克服できるか？

オリジナル記事「What Is High Bandwidth Flash (HBF) and Can It Overcome the AI Memory Wall?」

SKハイニックスはサンノゼで開催されたFMS 2026カンファレンスに参加しており、そこでサンディスクと共同開発中の新しい垂直積層型フラッシュストレージ技術「高帯域幅フラッシュ（HBF）」を披露する予定だ。量産開始まであと1年を要するが、HBFの支持者たちは、これがAI推論における最大の課題の一つである「AIメモリの壁」の克服に寄与する可能性があると述べている。

キーバリュー（KV）キャッシュは、子供が猫のアニメーション動画を作成する場合であれ、化学者が科学的発見を加速させたいと願う場合であれ、顧客へのAIサービス展開における大きな障害となっている。KVキャッシュは、過去のクエリに対する事前計算済みの回答を保存し、実質的に短期メモリとして機能するため、AI推論において極めて重要だ。KVキャッシュを拡大することで、AIプロバイダは、より多くのユーザに対し、より長いセッションとより広いコンテキストウィンドウを提供できるようになる。

	この恐ろしい「メモリの壁」が、AIプロバイダによるAI推論サービスのスケールアウトを阻んでいる（Lafotoe/Shutterstock）

理想的には、KVキャッシュ全体がGPUやAIアクセラレータのすぐ隣にあるHBM上に格納され、それによって物理的な距離を最小限に抑え、レイテンシを低く保つ。通常、HBMの容量の約3分の1はKVキャッシュ用に確保され、残りの3分の1はニューラルネットワークの重みの保存に、最後の3分の1は動作に必要なデータに割り当てられる。

問題は、利用可能なHBMの容量が、プロバイダが望むほど大きなKVキャッシュを格納するにはほとんど不十分だということだ。KVキャッシュの需要がHBMの容量を上回ったとき――つまり、AIプロバイダがメモリの壁にぶつかったとき――、KVキャッシュは次のレベルのストレージへと溢れ出る。これは通常、DRAMとエンタープライズクラスのソリッドステートディスク（SSD）、あるいはフラッシュの組み合わせである。

SSDは大容量を提供するが、ネットワーク経由でアクセスされるため、HBMやDRAMに比べて処理速度が遅くなる。エヌビディアは、新たなContext Memory Extension（CMX）アーキテクチャを通じて、エンタープライズ向けフラッシュアレイ上でのKVキャッシュ検索の効率とスループットを最大化するための一連の手法や技術――今後登場するBlueField-4データ処理ユニット（DPU）、Converged Ethernet上でのRDMA（RoCE）の活用、適応型ルーティングなど――を考案した。大手フラッシュアレイ・ストレージベンダー各社は、BlueField-4 DPUがようやく出荷される今秋に間に合うよう、CMX対応製品の開発を進めている一方で、それまでの間、独自のKVキャッシュオフロードソリューションも開発している。

サンディスクは、HBFを活用することで、GPUが利用可能なストレージ容量を最大18倍に拡大できると見込んでいる（画像提供：サンディスク）

一方、SKハイニックスとサンディスクは、HBFに関して独自の構想を持っている。HBMと同様に、3Dパッケージング技術を用いてNANDフラッシュチップを垂直に積み重ねることで、はるかに高いストレージ密度、すなわち1スタックあたり約512 GBを実現できる。こうした8段または16段積層されたNANDスタックの帯域幅は、毎秒0.4TBから3.0TBの範囲になると予測されている。これらのHBFはHBMとSSDの中間に位置し、接続プロトコルとしてUCIe（Universal Chiplet Interconnect Express）を採用する。

HBFのコンセプトは、プロセッサのすぐ隣に配置し、HBMと同等のスループットを実現しつつ、HBMやDRAMよりもはるかに大容量で、かつはるかに低コストで提供することだ。Gen2およびGen3のHBFは、スタックあたり3 TBpsの読み取り帯域幅を提供すると予測されており、これは現在3.3 TBpsを実現しているHBM4と遜色ない。また、HBFはHBM4の物理的なフットプリント、消費電力のプロファイル、スタックの高さにもほぼ一致しており、これによりチップメーカーは、GPUやCPUを含む将来のAIアクセラレータにHBFを組み込むことが容易になるはずだ。

HBMも決して立ち止まってはいない。韓国科学技術院（KAIST）によると、HBMのロードマップでは、2029年に発売されるHBM5が4TBpsの帯域幅を実現し、続いて2032年のHBM6で8TBps、2035年のHBM7で24TBps、そして2038年に発売されるHBM8で64TBpsを実現する予定だ。12年後に登場するこれらのHBM8モジュールは、スタティックランダムアクセスメモリ（SRAM）が提供可能な、途方もない100TBpsというメモリ帯域幅に近づき始めるだろう。SRAMは超高速だが、非常に高価だ。また、セレブラス社製のような最大規模のSRAMチップでさえ、1チップあたりのオンチップSRAM容量はわずか44GBにとどまる。常に何らかのトレードオフが存在するのだ。

HBFの唯一の注意点として、書き込みが極めて遅い点が挙げられる。しかし、KVキャッシュは主に読み取り専用であるため、この欠点は相殺され、HBFはKVキャッシュの拡張という課題に対する有力な解決策となり得る。

	HBMロードマップ（出典：KAISTのHBMロードマップver 1. ワークショップ）

2月、SKハイニックスとサンディスクは、Open Compute Project（OCP）内のプロジェクトとしてHBFの標準化に向けた取り組みを開始した。GoogleとTenstorrentはすでに参画しており、今後さらに多くの企業が加わると見込まれている。

SKハイニックスのイム・ウィチョル副社長、サンディスクのラジーブ・ナガビラヴァ副社長、およびGoogle DeepMindのシニア・スタッフ・エンジニアであるシャオユー・マ氏が、FMS 2026で開催される「高帯域幅フラッシュでメモリの壁を打ち破る」と題したパネルディスカッションに参加する。同パネルでは、AIインフラ全体におけるメモリアーキテクチャの根本的な変化について議論し、変革をもたらすソリューションとしてのHBFの可能性と役割に焦点を当てる見込みだ。

「AIアプリケーションの急速な普及に伴い、データ処理構造全体を再設計しなければならない段階に来ている」と、SKハイニックスのキム・チュンソン執行副社長兼ソリューション開発本部長は述べ、「SKハイニックスはHBFを通じて、メモリとストレージの境界を広げ、システム全体の効率を高める新たなアーキテクチャの構築に貢献していく」と付け加えた。