世界のスーパーコンピュータとそれを動かす人々

eNewsletter


8月 1, 2022

セレブラス・システムズ、AIチップで性能競争を勝ち抜く

HPCwire Japan

Agam Shah　オリジナル記事

セレブラス・システムズは世界最大のチップを製造しているが、学習モデルが猛スピードで成長し続ける中、すでに次期AIチップについて検討している。

同社の最新チップ「Wafer Scale Engine」は、まさにウエハサイズであり、TSMCの7nmプロセスで作られている。次のチップでは、より多くのコアを詰め込み、急成長するAIの計算ニーズに対応すると、セレブラス・システムズのアンドリュー・フェルドマンCEOは述べている。

「将来的には5ナノメートルになり、成長を続けるでしょう。性能を向上させるチャンスは常にあるのです」とフェルドマン氏は語る。

WSE-2チップ（CS-2システムの動力源）は85万コアを持ち、2兆6000億トランジスタを搭載しているが、同社はまだチップの性能を最大限に引き出すことを終えていない。先日、同社は、これまで1チップで訓練した最大のAIモデルを訓練したと主張した。これは、従来のCPUが世界最速のプロセッサになるのと同等のAIである。

AIモデルは、200億個のパラメータを持つ自然言語処理フレームワーク「Eleuther-GPT-NeoX」だ。

「これらのモデルを設定するのに数分かかります。そして、数回のキー操作で、これらのモデル間を素早く簡単に行き来できることです」とフェルドマン氏は語った。

 

CS-2で学習させた数十億パラメータの自然言語処理モデルには、他にGPT-3L（13億）、GPT-J（60億）、GPT-3（130億）などがある。

同社は、グラフィックスプロセッサのクラスタ上で同様のAIモデルを学習させた場合との比較を行った。CS-2は、時間、電力、スペースを節約できるとしている。

自然言語処理のパラメータ数は1兆個を超えており、CS-2は200億個のパラメータよりもはるかに大きなモデルを作ることができ、同社は今年後半にさらなるブレークスルーを発表する予定だという。

「100兆 も可能だ」とフェルドマン氏は述べた。

同社は、CS-2がより優れたネットワーク構造とAI用のコンピュートを構築し、それをオンチップコア上で分割することができるとしている。GPUモデルでは、GPUの能力に応じた分割が必要な計算をオーケストレーションし、数百のGPUの応答時間が調整されるように構造を確立していく。

これに対してCS-2は、すべてをチップ上に搭載し、プログラマブルコアをメッシュネットワークで構成し、計算要件に適応させる。同社は、オンチップコア間の帯域幅が、相互接続されたGPUのクラスタよりも高速であると主張している。

フェルドマン氏は、「チップ上の計算リソースが増え、ウェイトストリーミングアーキテクチャにより、1チップで非常に大きなパラメータを持つモデルをサポートできるようになりました」と述べ、「モデルは多くの場合、TensorFlowやPyTorchで作成されます。モデルとデータがあれば、我々のコンパイラがそれをすべて包み込んでくれます。」

セレブラスのウェイトストリーミングアーキテクチャは、メモリとコンピュート（計算）を分解している。

 

セレブラスは、市場を支配し、そのGPUがAIコンピューティングを牽引しているNvidiaと大きく比較している。Nvidiaの優位性はGPUチップメーカーにとって良いことだが、GPUアーキテクチャの弱点も露呈するため、悪いことでもあるとフェルドマン氏は指摘する。

セレブラスの注目すべき勝利の1つであるグラクソ・スミスクラインは昨年12月、学術論文の中で、セレブラスのシステムはGPUと比較して創薬にかかる日数を短縮したと述べている。

「標準的なGPUハードウェアを使用した場合、データセットに適した大容量のモデルをトレーニングするには、数週間から数カ月かかっていたでしょう。セレブラスCS-1システム内のセレブラス・ウェハースケール・エンジン（WSE）により、この規模のモデルをわずか数日でトレーニングすることができ、ハイパーパラメーターやアーキテクチャの探索も可能になりました」と、GSK社の研究者は記している。

セレブラス・システムズのコンピュータは、学術機関にも採用されています。ライプニッツ・スーパーコンピューティング・センターは、CS-2とHPE Superdome Flexを組み合わせたシステムをハイパフォーマンスコンピュータの貯蔵品に加えた。

CS-2 システムは、ピッツバーグ・スーパーコンピューティング・センター、アルゴンヌ国立研究所、ローレンス・リバーモア国立研究所、そして最近では、国立スーパーコンピューティング応用研究所に設置されています。CS-2システムは通常数百万ドルする。セレブラ社は、大きな予算を持たない研究者をこれらのスーパーコンピューティング・リソースに向かわせることができると述べている。