RAISEに関する考察：AIが単なるワークロードでなくなる時

オリジナル記事「Reflections on RAISE: When AI Stops Being One Workload」

過去10年間にわたるハードウェアの進化――コア数の増加、クロック速度の向上、アクセラレータの大型化――は、HPC業界にとって大きな恩恵をもたらした。しかし、AIがそのルールを変えつつある。業界は今、ワークロードがハードウェアに適応することを期待するのではなく、インフラが急速に変化するワークロードに適応しなければならないという新たな時代を迎えつつある。

このテーマこそが、パリで開催されたRAISE Summitで私がパット・ゲルシンガー氏と交わした対話の核心だった。AIインフラは、安定したワークロードのために最適化すべきなのか、それとも絶えず変化するワークロードのために最適化すべきなのか。IntelやVMwareのCEOを務めるなど、数十年にわたり大規模コンピューティングプラットフォームの構築と統率に携わってきた経験に裏打ちされたパット氏の見解により、この議論はAIインフラの将来像について洞察に富んだものとなった。

AIがコンピューティングを再構築

パット氏が強調したある指摘は、5年前なら直感に反するように聞こえただろう。AIインフラにおいて、CPUの重要性は低下するどころか、むしろ高まっているのだ。過去10年の大半において、AIの未来とはGPUの増加を意味するという前提が一般的だった。システム設計では、アクセラレータが「実際の作業」の大部分を担い、CPUは単なるホストに過ぎないという世界が想定されていた。実際には、1つのCPUが8つ、あるいは16ものGPUを駆動する形が一般的だった。

そのバランスは変化しつつある。マルチモーダルシステムやエージェント型システムが普及するにつれ、ワークロードにおけるCPUの割合は増加している。一部の導入事例では、その比率はアクセラレータ2台に対してCPU1台という傾向にあり、場合によっては1対1に近いこともある。これは、アクセラレータの重要性が低下したということではなく、モデルを取り巻くシステムが今や主要なボトルネックとなっていることを意味する。

	フランス・パリで開催されたRAISE Summitで講演するエラド・ラズ（左）とパット・ゲルシンガー

この変化は、より広範な市場の動向を反映している。現在、ヘテロジニアスコンピューティングが標準となっている。現代のAIインフラは、CPU、GPU、DPU、NPU、および専用アクセラレータの組み合わせで構成されており、それぞれがワークロードの異なる側面に最適化されている。この多様性はパフォーマンスを向上させる一方で、インフラの複雑さも増大させる。プロセッサが1つ追加されるごとに、新たなソフトウェアスタック、スケジューラ、メモリ階層、ネットワーク要件、電力予算、運用上の依存関係が生じるのだ。

結局のところ、重要なのはアーキテクチャではなくワークロードだ。成功するプラットフォームとは、固定されたハードウェア構成や現在のAIモデルに最適化されたものではなく、進化するにつれてますます多様化するワークロードを効率的に実行できるものとなるだろう。

私たちは間違った問題を解決してるのか？

こうした状況を踏まえると、業界が専門化されたチップを志向する傾向には疑問を呈すべきだ。新しいモデルの変更ごとに新たなASICが開発されるなら、それは進歩と言えるかもしれない。あるいは、不確実性に対処するためにシステムを細分化しているという証拠でもあるかもしれない。

対象が明確に定義され、安定している場合、専門化は優れた結果をもたらす。問題は、AIワークロードがもはや安定していない点だ。トランスフォーマーが主流となってからまだ数年しか経っていないが、アテンションをめぐるアルゴリズムの領域はすでに変化しつつある。各チームはトランスフォーマー以外にも、状態空間モデルなどの分野で実験を進めており、その実用的な意味合いは同じだ。特定の固定されたカーネルの組み合わせが今後何年も支配的であり続けると想定したハードウェアを正当化するのは難しい。

現在では、ピーク速度と同様に効率性も重要となっている。ワット当たり、ドル当たりでより有用な成果を生み出すことは、ピークFLOPSを最大化することよりも難しく、データセンターの拡張における制約要因になりつつある。AIが科学や産業のあらゆる分野でその可能性を十分に発揮するためには、エネルギー効率と資本効率を飛躍的に向上させなければならない。「10,000倍」という数値を文字通り受け取るかどうかは、その方向性よりも重要ではない。電力とコストの制約により、アーキテクトは利用率、メモリトラフィック、テールレイテンシを中核的な設計目標として扱うことを余儀なくされている。

FLOPSからワークロードの形状へ

フラグメンテーションが発生する理由を理解する上で有用な方法は、実際に展開されている「推論」を観察することだ。推論はすでに、プリフィルやデコードといった異なるフェーズに分かれており、それぞれに異なるボトルネックが存在している。

プレフィルはバッチ処理に適し、スループット重視である一方、計算リソースに制約されやすい傾向がある。デコードはレイテンシに敏感で、本質的により直列的な処理であり、本稿の議論ではアテンションやメモリ制約の挙動という文脈で取り上げられた。この違いによって、パフォーマンスを左右する要因が変化する。多くの実際の導入事例において、制限要因となるのはピーク時の多重蓄積能力ではなく、メモリ帯域幅、メモリ容量、およびデバイス間での作業調整に伴うオーバーヘッドである。演算が特殊化された孤立したブロック群になると、システム自体がボトルネックとなり、効率的なスケーリングがますます困難になる。

 

(IM Imagery/Shutterstock)

AIインフラはもはや数十個のアクセラレータ単位ではなく、数万個を擁するクラスタ単位で測定されるようになった。この規模になると、データを効率的に移動させることは、計算を実行することと同じくらい重要になる。アクセラレータの利用率、メモリの移動、ネットワークトポロジー、ワークロードのスケジューリングが、システム全体のパフォーマンスを決定づける要素としてますます重要になっている。利用率のわずかな向上も、規模が大きくなるにつれて劇的な相乗効果をもたらすため、アーキテクチャの決定は、従来のHPC導入時よりも指数関数的に重要になっている。

エージェント型システムはモデル呼び出しをワークフローに変える

エージェント型システムでは、ワークロードが単一のフォワードパスではなく明示的なループであるため、この変化がより明確になる。典型的なエージェント型パイプラインには、ベクトルインデックスによる検索、再ランク付け、ツールの呼び出し、構造化解析、および複数のモデル呼び出しの組み合わせが含まれる。高密度な線形代数は依然として中核をなすが、その周囲には不規則なメモリアクセスパターンや、制御が重いオーケストレーションが存在する。

あるエンジニアリングチームは、単一のユーザーリクエストで複数のチップにまたがるパイプラインについて説明した。これには、埋め込み、検索、再ランク付け、生成のための個別のプロセッサに加え、ワークフローをオーケストレーションするCPUが含まれる。このアーキテクチャは機能するが、境界ごとにオーバーヘッドが生じる。運用上の複雑さが増し、アクセラレータのピーク性能が高くても、テールレイテンシを押し上げる可能性がある。

これが、CPUの役割が拡大している理由でもある。オーケストレーション層には、スケジューリングの決定、ツールの実行、ネットワークおよびストレージのI/O、トークン化、制御フローなどが満ちており、これらは固定機能アクセラレータには明確にマッピングされない。AIが「1つのモデルを効率的に実行する」ことから「ますます複雑化するワークロードを確実に実行する」ことへと移行するにつれ、CPUは再びパフォーマンスパスの一部となる。この変化は、より広範な現実を浮き彫りにしている。つまり、組織は5年から7年持続することが想定されるインフラへの投資を行っている一方で、AIワークロードはほぼ継続的に進化しているのだ。

将来を見据えたインフラを構築するには、今日のワークロードが明日のワークロードを決定づけるという前提ではなく、変化に適応できるアーキテクチャが必要となる。

ハードウェアはソフトウェアの変化に適応すべきだ

こうした傾向の根底には、より構造的な問題がある。何十年もの間、業界はハードウェアが処理できる範囲に合わせてソフトウェアを設計してきた。その前提は莫大な価値を生み出したが、ワークロードの定義が毎年変化する状況下では、その前提はプレッシャーにさらされている。

ここで、歴史的なパターンが参考になる。過去の世代では、専用ユニットが登場し、一定期間魅力的に見えたものの、ワークロードの進化に伴い、より広範なアーキテクチャに吸収されていった。将来が未知のワークロードに依存すればするほど、プログラム可能で、構成可能であり、変化に対して強靭なアーキテクチャやツールチェーンの恩恵をより大きく受けられる。

AIは今、まさにそのような時期にある。問題は、専門化が存在するかどうかではない。それは存在する。問題は、専門化が断片化を必然的に招くのか、あるいはシステムが、アルゴリズム、モデル構造、ワークロードの構成の変化に対して耐性を保ちつつ、高い効率を実現できるのかということだ。

学習と推論の境界は不変のものではない

この議論は、業界が依然として不変のものとして扱っているもう一つの境界、すなわち学習と推論の分離にも当てはまる。人は大人になっても学びを止めない。ロボットやアシスタントも同様に、学びを止めることはないだろう。システムに継続的な学習が求められるようになれば、学習と推論の間の従来の境界線は、設計原則としての意味をほとんど失うことになる。

技術的には、この区別はすでに曖昧になりつつある。推論はすでに、プリフィルやデコードといった段階に分化しつつある。私たちの議論で焦点となったのは、単なる分類法だけではなかった。重要なのは、これらの段階の挙動が十分に異なるため、単一のユーザ向けシステムであっても、異なるハードウェアの選択を導き得るという点だ。時間が経つにつれ、継続的な学習とカスタマイズがより一般的になれば、「ここで学習し、そこで推論する」という考え方は、インフラの組織化原則として有用性を失っていく。
トレーニングと推論の境界は曖昧になり、システムをより自然かつ動的に調整することをサポートするアルゴリズムが登場するだろう。

オープンなエコシステムと長期的な意思決定

インフラの意思決定は長期にわたるが、AIアルゴリズムはそうではない。チップの設計サイクルは年単位で測られるのに対し、データセンターの導入は数十年単位で測られる。この不一致により、脆弱なプラットフォームへの賭けを避けるよう圧力がかかっている。

これが、RISC-Vのようなオープンな命令セットアーキテクチャを含む、オープンで拡張可能なエコシステムアプローチへの関心が再び高まっている理由の一つだ。その魅力はコスト面だけにとどまらない。組織は、技術ロードマップに対するより大きなコントロール、サプライチェーンの回復力の向上、調達の柔軟性の向上、そして単一ベンダーへの長期的な依存を回避する柔軟性を、ますます求めている。

勝者となるソリューションがオープンなものか、プロプライエタリなものか、あるいはハイブリッドなものかに関わらず、根底にある要件は同じだ。プラットフォームには進化するための余地が必要だ。

パリを後にした際に私が抱いた疑問はこうだ。10年後、AIインフラに関して業界が今日抱いている仮定のうち、完全に間違っていたと判明するものは何か。

私の推測では、「専門化と柔軟性は相反する」という前提だ。つまり、システムは特定の狭い業務に特化するか、あるいは将来発生するあらゆる事態に対応できるかのいずれかであり、その両方を兼ね備えることはできないという考え方だ。エージェント型システム、マルチモーダリティ、そして新しいモデルファミリーがワークロードのあり方を変え続けるならば、今後10年間で成功を収めるのは、変化を第一級の設計パラメータとして扱い、効率性を単一ステージのベンチマーク結果ではなく、システム全体のエンドツーエンドの特性として捉えるアーキテクチャだろう。

講演のフル動画版をご覧になりたい方は、こちらから確認できる。

著者について：エラド・ラズはNextSiliconのCEOだ。