メモリプールアーキテクチャが、AI推論向けのKVキャッシュを再定義する理由

オリジナル記事「Why Memory Pool Architectures Will Redefine KV Cache for AI Inference」

AIインフラをめぐる議論では、AI推論のスケーリングにおける重大なボトルネックとして、キーバリュー（KV）キャッシュ(下部用語解説参照)が正しく指摘されている。モデルがより長いコンテキストウィンドウや、より高い同時実行数へと進化するにつれ、KVキャッシュのメモリ使用量は急速に増加し、しばしばモデル本体よりも大きくなってしまう。最近の業界での議論では、通常は高速イーサネット経由のRDMAで接続された外部ストレージシステムを用いて、KVキャッシュの容量を拡張することに焦点が当てられている。

ストレージ中心のアプローチは、GPUメモリの制限を超えて容量を拡張する実用的な方法を提供し、重要な第一歩ではあるが、より根本的な問題、すなわち「パフォーマンス」を全く解決していない。AI推論は、KVキャッシュにどれだけ多くのデータを格納できるかという点だけでなく、そのキャッシュにどれだけ高速にアクセスできるかという点によって厳密に制約される。大規模な環境では、メモリアクセスとストレージアクセスのアーキテクチャ上の違いが、システム全体のパフォーマンスを決定づける要因となる。

KVキャッシュはメモリアクセスの問題

本質的に、KVキャッシュは単なる静的なデータではなく、モデルのワーキングメモリの動的な拡張である。推論のライフサイクルにおいて：

• プリフィル段階では、アテンション状態を計算し、それをKVキャッシュに書き込む。
• デコード段階では、トークンを生成するためにKVキャッシュから繰り返し読み込みを行う。

これらの操作には、きめ細かくレイテンシに敏感なメモリアクセスが伴う。これらは本質的に、たとえ高速なストレージシステムであっても、あまり適していない。NVMeやRDMAは高い生スループットを実現できるが、その動作は基本的にI/Oセマンティクスに基づいている。各アクセスには、ダイレクトメモリアクセスと比較して、ソフトウェアのオーバーヘッド、プロトコル処理、および追加のレイテンシが発生する。

	(taylor-nero/Shutterstock)

コンテキストサイズが大きくなり、トークンの生成がKVキャッシュの迅速な再利用にますます依存するにつれ、この違いは決定的なものとなる。その結果、KVキャッシュをストレージに移行すると、Time To First,Token（TTFT）の増加、総完了時間の延長、GPU利用率の低下、推論あたりのインフラコストの増加など、システム全体にわたる非効率性が生じる。

パフォーマンスを決定づけるレイテンシの差

メモリとストレージの違いは、実行レイテンシにおいて最も顕著に現れる：

• GPUのハイバンド幅メモリ（HBM）は、数十ナノ秒単位で動作する。
• ホストメモリおよびプールメモリは、数百ナノ秒単位で動作する。
• RDMA経由でアクセスされるストレージは、数十マイクロ秒単位で動作する。

この桁違いの差は、推論性能に直接反映される。KVキャッシュのアクセスパターンには、反復性が高く、頻度も高いという特徴がある。デコード中、わずかなレイテンシの増加であっても、数百万回の演算にわたって累積し、トークン生成全体の速度を低下させる。ストレージベースのシステムでは、KVキャッシュの読み取りは、ネットワークスタック、RDMAまたはストレージプロトコル、そしてストレージメディアへのアクセスを経由しなければならない。対照的に、メモリベースのシステムでは、ロード／ストアのセマンティクスを通じてKVキャッシュを公開するため、これらの層を完全に排除できる。
この違いは単なる微増にとどまらず、システムの性能特性を根本的に変えるものだ。

メモリプール：メモリドメインの拡張

この問題に対処するため、新たなアーキテクチャ的アプローチが登場している。それが「メモリプール」アーキテクチャだ。メモリプールは、KVキャッシュをストレージに流出させるのではなく、標準的なDDR5を基盤とした大規模な共有メモリシステムを導入することで、メモリドメインそのものを拡張する。

これらのシステムは以下を提供する：

• テラバイトから数十テラバイト規模のアドレス指定可能なメモリ。
• 数百GB/sに達する高い総帯域幅。
• 1マイクロ秒未満のレイテンシ。
• CPUおよびGPUからの直接アクセス。

最も重要なのは、メモリプールがメモリのセマンティクスを維持し、KVキャッシュを外部データとしてではなくメモリとしてアクセスできるようにすることだ。これにより、AIシステムは、ローカルメモリに極めて近いパフォーマンスを維持しつつ、KVキャッシュの容量を拡張できるようになる。

Time-To-First-Token (TTFT) の改善

Time-To-First-Token（TTFT）は、AI推論において最も重要なユーザ向け指標の一つとなっており、体感されるパフォーマンスやシステムの応答性に直接影響を与える。TTFTは、プリフィル実行時間、KVキャッシュの書き込み性能、およびKVキャッシュの読み取りレイテンシに大きく左右される。

ストレージベースのアーキテクチャでは、KVキャッシュへの書き込みと読み取りにI/O操作が伴い、プリフィルフェーズとデコードフェーズの両方でレイテンシが発生する。メモリプールはこの仕組みを根本的に変える：

• KVデータがメモリに直接書き込まれるため、プリフィルが高速化される。
• 読み取り操作はネイティブメモリドメイン内に留まるため、I/Oのオーバーヘッドを回避できる。
• キャッシュの再利用が確定的かつ低レイテンシとなる。

その結果、特にKVキャッシュのサイズが実行時間を左右する長コンテキストのワークロードにおいて、TTFTが大幅に短縮される。

総完了時間：真の効率指標

TTFTも重要だが、システムの効率、スループット、コストを最終的に決定づけるのは総完了時間だ。ストレージベースのKVキャッシュソリューションでは、アクセスごとにレイテンシが発生する。個々の遅延は小さく見えても、数千のトークンと複数のアテンション層にわたって累積していく。

メモリプールは、プリフィル処理の高速化、デコード時のトークンあたりのレイテンシ低減、再計算の必要性の低減、および持続的なトークンスループットの向上を実現することで、推論パイプライン全体におけるこのオーバーヘッドを軽減する。これにより、推論タスクの完了が直接的に早まり、GPUの利用率が向上し、クエリあたりのコストが低減される。大規模な導入においては、これらの改善が直接的に経済性の向上につながる。

メモリ共有によるKVキャッシュの重複排除

現在のアーキテクチャにおけるもう一つの深刻な非効率性は、KVキャッシュの重複である。通信オーバーヘッドを回避するため、KVキャッシュは複数の別々のGPUに複製されることが多く、これにより貴重なメモリが消費され、有効容量が制限されてしまう。

メモリプールアーキテクチャは、真のメモリ共有を通じて、新たなパラダイムを実現する：

• KVキャッシュは、共有メモリに一度だけ格納すればよい。
• 複数のGPUが、まったく同じデータに同時にアクセスできる。
• 冗長なコピーは完全に排除される。

このアプローチにより、メモリ効率、スケーラビリティ、リソース利用率が大幅に向上する。また、ローカルの物理メモリを比例的に、かつコスト的に現実的でないほど増設することなく、システムがはるかに大規模なコンテキストウィンドウをサポートできるようになる。

モデルとデータを単一のメモリ空間に統合

メモリプールの最も強力な機能の一つは、モデルの重み、KVキャッシュ、および入力データを単一の巨大なメモリ空間に統合できる点だ。具体的には、大規模なモデル（LLaMAクラスのシステムなど）をプールされたメモリに直接格納できる。長時間セッション用のKVキャッシュは、それらのモデルの重みと共存でき、CPUとGPUの両方がネイティブメモリ命令を使用してそれらに直接アクセスできる。

これにより、アーキテクチャ上の非効率性の根本的な原因が複数解消される：

• 断片化されたメモリ階層間での継続的データ移動。
• ハードウェアリソースの物理的な断片化。
• 分散デバイス間の同期オーバーヘッド。
  

この同期処理の排除により、推論がローカルのオンカードメモリ容量に制約されなくなる新たな実行モデルが可能となる。

スケールアップとスケールアウトの再考

現在のソリューションは、ネットワークファブリックや分散システムを利用して容量を拡張するスケールアウトアーキテクチャに大きく依存していることが多い。スケールアウトは不可欠だが、レイテンシやソフトウェアの効率性において厳しいトレードオフを伴う。メモリプールは、スケールアップアーキテクチャの強力な拡張形である：

• 単一の低レイテンシドメイン内でメモリ容量を拡張する。
• オーバーヘッドの大きいネットワークベースのアクセスへの依存を最小限に抑える。
• システムのスケールアップに伴い、ハードウェアのパフォーマンスを維持する。

実際には、最も効率的なAIシステムは両方の手法を組み合わせるだろう。KVキャッシュのホスティングのようなメモリ集約的な処理にはスケールアップを、ワークロードの分散やマルチノードのオーケストレーションにはスケールアウトを用いるのだ。鍵となるのは、ストレージやネットワークベースのアクセスに切り替える前に、メモリドメインを可能な限り拡張することだ。

KVキャッシュアーキテクチャの進化

業界は現在、重要な過渡期にある：

• 現状：ストレージプロトコル（RDMA、NVMe、オブジェクトストレージ）によるKVキャッシュの拡張。
• 短期：ストレージと拡張メモリファブリックを組み合わせたハイブリッドアーキテクチャ。
• 長期：大規模なプール型メモリシステムを備えた、真のメモリ中心型アーキテクチャ。

推論性能は単なる生容量だけでなく、ネイティブなアクセスセマンティクスにも依存するという認識から、研究やシステム設計の取り組みは、ますますメモリベースのソリューションへと移行しつつある。

データ移動からメモリアクセスへ

KVキャッシュの容量拡大をめぐる競争は現実のものであり、これは今日のAIインフラにおける最も重要な課題の一つだ。しかし、長期的な解決策は単にストレージ層を増やすことではない。根本的なアーキテクチャの転換には、KVキャッシュを「移動すべきデータ」として扱うのではなく、「アクセスすべきメモリ」として扱うようにすることが求められる。

メモリプールアーキテクチャは、低レイテンシのアクセスを実現し、帯域幅の利用率を高め、TTFTを短縮し、総完了時間を改善し、データ重複に伴う構造的な非効率性を排除することで、唯一明確な前進の道筋を示す。AIシステムの規模が拡大し続けるにつれ、メモリとストレージの乖離はますます重大な問題となるだろう。最終的に成功するのは、容量だけでなく、意味論やパフォーマンスの面でも、KVキャッシュをコンピュートドメインの近くに固定し続けるアーキテクチャである。

KVキャッシュの未来はストレージではない。メモリである。

著者について：オレン・ベニスティは、AIおよびHPC向けのメモリ・オーバー・ファブリック・ソリューションを開発するUnifabriX社の事業開発・マーケティング担当副社長である。

用語解説：KVキャッシュ（キーバリューキャッシュ）
KVキャッシュ（Key-Value Cache）とは、生成AIの基盤技術であるTransformerモデルの推論処理において、一度計算した過去のトークン（単語や文字）の「Key（K）」と「Value（V）」のデータをメモリに保存し、次以降の計算で再利用して高速化する仕組みです。毎回ゼロから計算し直す無駄を省くことができます。（AIによる解説）