Metaが自社開発のAIアクセラレーターに大量のHBMを搭載

オリジナル記事「Meta Packs Gobs of HBM Into Homegrown AI Accelerators」

高帯域幅メモリ（HBM）はどれくらいの容量があれば十分なのか？Metaにとっての答えは、どうやら約0.5テラバイトのようだ。これは、同社が本日発表した新しいAIアクセラレータの一つに搭載することを目指しているHBMの容量である。

	MetaのMTIAチップ

FacebookやInstagramを傘下に持つMetaは本日、Meta Training and Inference Accelerator（MTIA）ラインナップの4つの新製品を発表した。パートナー企業のBroadcomと共同開発したこの自社製チップは、ランキングやレコメンデーション（R&R）のトレーニングおよび推論ワークロードから、基盤となるAIモデルのトレーニング、さらにはそれらのモデルを推論モードで実行することまで、このソーシャルメディア大手における幅広い計算集約型タスクを処理するように設計されている。

各チップは、特定のタスクを高速処理するように設計されている。例えば、新しいMTIA 300は、チプレット設計を用いて組み立てられた他のいくつかの専用処理素子（PE）に加え、2つのRISC-Vコアを搭載しており、R&Rトレーニングでの使用を想定している。MTIA 300の設計をベースとするMTIA 400は、一般的なMetaワークロードを対象としている。MTIA 450とMTIA 500は、そのオリジナルのMTIA 300設計を進化させたもので、新たなチプレット構成、追加のPE、および新しいデータ型のサポートを備え、最大かつ最も困難なAIワークロードに対処することを目的としている。

Metaは、生成AIワークロードにおけるボトルネックとなりがちな、メモリとプロセッサ間のデータ転送速度の向上に特に注力した。MTIAが288 GBのHBMと9.2 TB/秒のHBM帯域幅を実現したのに対し、同じく288 GBのHBMを搭載するMTIA 450は、メモリ帯域幅を2倍の18.4 TB/秒に高めている。一方、MTIA 500は384GBから512GBのHBMを搭載し、驚異的な毎秒27.6TBのメモリ帯域幅を提供する。

MTIAの仕様（出典：Meta）

2027年にMetaのデータセンターに導入される予定のMTIA 500は、MX4（すなわちMXFP4、またはマイクロスケーリング4ビット浮動小数点）の推論性能において30ペタフロップスを発揮する。一方、MTIA 450チップのMX4推論性能は21ペタフロップスである。これは、1,700ワットの熱設計電力（TDP）枠内で実現されるもので、MTIA 450の1,400ワットやMTIA 400の1,200ワットと比較して高い数値だ。

これらの数値は、エヌビディアおよび同社が近く発表予定のRubin GPUと比べても遜色がない。RubinはHBM4帯域幅として毎秒22TBを提供するが、これはMetaがMTIA 500で提供するとする数値より毎秒5TB少ない。性能面では、エヌビディアはRubinが35ペタフロップスのNVP4トレーニング性能と50ペタフロップスのNVP4推論性能を提供すると述べている。NVP4は、エヌビディアが昨年Blackwell向けに発表した新しい低精度データ型であり、より高い精度と低い量子化誤差を実現する一方で、複雑性の増加と圧縮率の低下を伴うとされている。

Metaによると、MTIA 400は、市場で最速のAIアクセラレータと競合するように設計された同社初の自社開発チップだという。「2つの演算チプレットを組み合わせることで演算密度を2倍にし、効率的な生成AI推論に重要な低精度フォーマットであるMX8およびMX4の拡張版もサポートしている」と同社は本日のブログ記事で述べている。「スイッチドバックプレーンを介して接続された72個のMTIA 400デバイスからなるラックが、単一のスケールアップドメインを形成する。」

MTIA 450はMTIA 400を基盤としており、メモリ帯域幅の拡大、MX4容量の75％増、アテンションおよびフィードフォワードネットワーク（FFN）演算向けの新たなハードウェアアクセラレーション、そして混合低精度演算を効率的にサポートする機能を備えていると同社は述べている。

	MTIAチップ設計の進化（出典：Meta）

MTIA 500は、設計上の革新に加え、さらに多くのHBMとメモリ帯域幅を提供する。例えば、MTIA 500では、Metaは2×2構成を採用する。この構成では、小型の演算チプレットが「複数のHBMスタックと2つのネットワークチプレットに囲まれ、さらにホストCPUやスケールアウトNICへのPCIe接続を提供するSoCチプレットが配置される。

MTIA 400、450、500はいずれも同じシャーシ、ラック、ネットワークインフラを使用しており、これによりチップのアップグレードを最小限の手間で実施できる。「我々はアクセラレータを、演算、I/O、ネットワーク向けの独立した再利用可能な構成要素である『チプレット』のシステムとして設計している」とMetaは述べている。「各チプレットを個別にアップグレードできるため、改良を数年ではなく数ヶ月で実装できる。さらに、異なるチプレットを、性能と消費電力の要件を満たしつつ最もコスト効率の高い異なるプロセスノードで製造することが可能だ。」

MetaはBroadcomと共同で独自のカスタムシリコンを開発している一方で、エヌビディアの最大の顧客の一つでもあり、Grace Blackwell、Blackwell、そして今後登場するRubin GPUを含め、長年にわたり数百万個のGPUを購入している。