ハイパースケーラーがCXLについて知っておくべきこと

オリジナル記事「What Hyperscalers Should Know About CXL」

世界中でAI推論がワークロードの大きな割合を占めるようになるにつれ、AIインフラに関する議論は変化している。計算コストはもはや唯一の制約要因ではない。Counterpoint Researchによると、2027年、あるいはそれ以降まで供給が逼迫する見込みであるため、真のボトルネックはますますメモリになりつつある。HBMは依然として高価で、容量にも限りがある。サーバを増設してスケールアウトすると、運用者は利用されないDRAMを抱えることになり、インターコネクトトラフィックが増加し、電力コストも上昇する。同じデータがノード間で重複して扱われることになり、ある時点を過ぎると、サーバを追加しても有用なスループットは向上しなくなる。

Compute Express Link（CXL）は、こうしたメモリの負荷に対する最も信頼できる解決策であり、プールされたメモリを活用して負荷を分散させることで、HBMを最も重要なユースケースのために温存できるようにする。CXL 2.0製品はすでに出荷されており、CXL 3.x対応のエンドポイントデバイスも登場し始めており、移行は本格的な評価段階に入っている。実用上の転換点は、CXL 3.x対応CPUの登場であり、2027年初頭に予定されている。この時点で、本格的な開発が現実的になる。Yole Groupの推計によると、2028年までに世界のCXLコンポーネント市場は150億ドルを超えると見込まれており、市場規模は相当なものになると予想される。

しかし、CXLは単なるメモリのアップグレードではない。CXLを単なるRAMのもう1つのレイヤーとして扱うことは、CXLがどこで役立つか、どのワークロードが恩恵を受けるか、そして信頼性高く稼働させるために何が必要かを誤って判断する最も早い道だ。ハイパースケーラーが自社のインフラにCXLを導入を検討する前に、3つの決定事項が重要となる。

1. 現在のCXLに最適なソリューション

ハイパースケーラーが従来のスケールアウト型メモリの限界に達したことを示す最初の兆候は、よく知られたものだ。GPUメモリは満杯になっているにもかかわらず、演算能力は依然として十分に活用されておらず、ワーキングセットがボトルネックとなっている。サーバプラットフォームではDIMMチャネルやスロットが追加され続けているが、運用担当者は依然としてメモリの逼迫に直面している。大規模なデータセット、KVキャッシュ、ベクトルインデックス、分析用ワーキングセットはノード間で複製され、有用なパフォーマンスが必ずしも向上するわけではないにもかかわらず、消費電力、ネットワークトラフィック、システムコストを増大させている。

CXLは、運用者がより多くのアドレス指定可能なメモリや、より優れたメモリ利用率を必要としている場合、あるいは不要なデータ移動を削減できる計算用メモリソリューションを検討している場合に、最も適している。これはHBMの代替ではない。トレーニングは依然としてHBMの帯域幅に大きく依存しており、CXLはローカルDRAMに比べてレイテンシを増加させる。

より重要な問いは、ワークロードにとって、追加される容量によるメリットが、追加されるレイテンシによるデメリットを上回るかどうかだ。ウォームデータやアクセス頻度の低いデータの場合、このトレードオフは多くの場合許容範囲内である。代替案がリモートメモリ、SSDアクセス、あるいはサーバの追加であるならば、CXLの方が優れた選択肢となる。

2. どのようなワークロードに適しているか

CXLワークロードに最も適しているのは、AI推論、特にロングコンテキストのKVキャッシュに加え、RAG、ベクトルデータベース、メモリ上の分析だ。AIの利用が拡大し、企業がトークンコストをより意識するようになるにつれ、推論はCXLによって運用コスト（OpEx）を削減できるユースケースとなる。

KVキャッシュは、コンテキストの長さや同時リクエスト数に応じてスケールする。メモリ計画は、もはや単一ノード上のモデル重みに基づいて行うことはできない。これは、HBM、DRAM、CXLメモリ、およびSSDをバックエンドとする階層を総合的に考慮しなければならない、ラックレベルの問題となる。ローカルメモリによってトレードオフが強制され始めた時点で、階層化が重要になる。具体的には、コンテキストの短縮、同時リクエスト数の減少、バッチサイズの縮小、再計算の増加、あるいは低速なストレージへのスピルなどが挙げられる。正確な閾値はモデルやサービング環境によって異なるが、示唆される事実は変わらない。つまり、演算能力が十分に活用される前にメモリ容量がサービスの足を引っ張る場合、問題が生じるのだ。

RAGやベクトルデータベースにおいて、主なボトルネックはインデックスのサイズだ。ベクトルインデックスが大きくなるにつれ、それらを完全にメモリ内に保持することは難しくなる。SSDにスプールされたり、より多くのノードに分散されたりすると、I/Oが増加し、検索レイテンシが高まる。CXLによる拡張は、アドレス指定可能なメモリプールを拡大することで役立つ。ニアデータ処理をサポートするCXL製品は、特定の演算をデータに近い場所で処理することで、CPUやGPUに戻す必要のあるデータの量を減らすことができる。純粋に帯域幅に制約されるワークロードでは、拡張だけでは効果が得られないかもしれないが、メモリが満杯である一方で演算能力や帯域幅にまだ余裕がある場合、CXLが助けとなる。

3. 生産の信頼性を左右する要因

一貫性は、アーキテクチャ図上だけでなく、実運用においても重要だ。運用担当者は、拡張メモリが手動でのコピー管理を必要とする独立したI/Oデバイスではなく、メモリそのもののように振る舞うことを望んでいる。適切な一貫性モデルがなければ、ソフトウェアはより多くのコピー処理や、同期・一貫性の問題を処理しなければならない。

プーリングは柔軟性を高めるが、オーケストレーション、分離、セキュリティに対する要求水準も引き上げる。その前提となるのは制御と可視性だ。どのワークロードがプーリングされたメモリを使用しているか、パフォーマンスがどのように変化しているか、レイテンシの目標値が達成されているかといった点である。

メモリがホスト間で共有されると、障害ドメインは拡大する。再利用可能なデータや、主に読み取りが行われるデータは共有しやすい。機密性が高く、絶えず変化するデータ、あるいはレイテンシが極めて重要なデータは、分離して保持すべきだ。運用担当者は、メモリエラー、リンクの状態、レイテンシ、帯域幅、デバイスのステータスを監視する必要があり、プールの一部が障害を起こした際のフォールバック策も用意しなければならない。

AIインフラでは、従来のサーバよりもRAS機能がより重要視される。ECC、エラー追跡、テレメトリ、ポイズン処理、リンクの信頼性、障害の隔離は、メモリ側の問題がコストのかかるGPUワークロードを妨げる前に、性能低下の初期兆候を検出するために必要だ。目標は、修正と同様に予防にある。

透過的な階層化により、アプリケーションの変更を最小限に抑えつつ、CXLメモリを追加のメモリ階層として公開できるため、導入が容易になる。SDKやランタイムAPIを通じたワークロードに応じた最適化により、KVキャッシュ、ベクトル検索、分析向けにデータをより意図的に配置し、さらなる性能向上を実現する。

懐疑論者への対応

	(Shutterstock/DCStudio)

一部のメディアでは、帯域幅が制約される環境において、PCIeベースのインターコネクトはイーサネット式のSerDesに比べて約3倍劣ると主張している。この批判は、CXLを高帯域幅ネットワーク、RDMA式のファブリック、あるいはGPUインターコネクトの代替として捉える場合には妥当だ。

しかし、CXLの真価はそこにはない。CXLは、容量の拡張、メモリのプール化と共有、コヒーレンシー、KVキャッシュの管理、およびデータ移動の削減に焦点を当てるべきだ。特にKVキャッシュに関しては、研究により、CXLベースの共有メモリがRDMAベースのアプローチよりも魅力的である可能性が示されている。

決定を下す

導入を決定する前に、運用担当者はCPUの対応状況、BIOSおよびファームウェアの準備状況、スイッチ間の相互運用性、ソフトウェアのサポート、管理ツール、そして実際のワークロードにおけるパフォーマンスを確認すべきだ。ロングコンテキストのLLM推論は、最適な導入用ワークロードの一つである。これは容量に制約され、測定可能であり、アプリケーションの大幅な変更を行う前に、透過的な階層化から始めることができる。

パイロットが成功したと言えるのは、同じインフラストラクチャ上で、少なくとも1つの明確な結果が示された場合である。具体的には、より大きなコンテキストのサポート、より多くの同時リクエスト、サーバ数の削減、GPU利用率の向上、ネットワークトラフィックの低減、CPUオーバーヘッドの低減、あるいはトークンあたりのコスト削減などが挙げられる。メモリ使用率、GPU利用率、および作業単位あたりのシステムコストや消費電力は、最も重要な指標である。

CXLは本格的なインフラ計画の準備が整っている。これは、単にHBMと置き換えるだけの単純な変更ではなく、ワークロードに基づいたアーキテクチャ上の決定だと考えてほしい。CXLにより、運用者は既存のメモリをより効率的に活用できるようになる――KVキャッシュのパフォーマンスが向上し、大規模なプロンプトや頻繁な推論クエリを処理するために、はるかに大規模なメモリ層を活用できるようになるのだ。

著者について：ジン・キムは、AIワークロードにおけるメモリのボトルネックを解消するために設計された計算用メモリおよびCXLプーリング製品を開発する、韓国の半導体スタートアップXCENAのCEO兼共同創業者だ。XCENAを共同創業する前は、SKハイニックスで副社長を務め、次世代アーキテクチャ開発チームを率いていた。また、サムスンにも在籍した経験があり、ソウル国立大学でコンピュータサイエンスの学位を取得している。