世界のスーパーコンピュータとそれを動かす人々


6月 4, 2018

インテル、最初の商用Nervana製品である”Spring Crest”を2019年に投入

HPCwire Japan

Tiffany Trader

サンフランシスコで開催されたAIデベロッパーカンファレンスにおいて、インテルはAIへの包括的なアプローチを取り込み、Xeonプロセッサ、Movidius技術、FPGA、そしてインテルが2016年に買収した技術に根付いたNervanaニューラルネットワーク・プロセッサ(NNPs)を含む広範なAIポートフォリオを披露した。

オープニング講演において、インテルの人工知能製品グループのゼネラルマネージャであり、Nervana Systems社の前CEOであるNaveen Raoは、初の商用Nervana製品が2019年後半にデビューし、NNP L-1000(コードネーム:Spring Crest)と呼ばれることを明らかにした。インテルは、Spring Crestが開発製品であるLake Crestの学習性能の3〜4倍を提供すると予測している。もともと昨年に供給を予定していたLake Crestは、初期のパートナーからのフィードバックを収集するソフトウェア開発手段として使用されている。これは、インテルがどのように最初のPhi製品であったKnights Ferryを開発したかを思い起こさせるものだ。そして、昨年末に静かに投入された機械学習特有のPhi製品であるKnights Millと言えば、インテルのAIロードマップのアップデートからは欠如しており、それはこの製品ラインの終焉を示すものだった。

我々が聞いたことのないもう一つの製品は、Intel XeonプロセッサをNervanaテクノロジーと統合することを目的としたLake CrestのフォローオンであるKnights Crestであった。Phi製品とのブランドのオーバーラップは常に混乱する要因となっているので、もしインテルがそのコードネームを放棄すれば、恐らくそれが一番かもしれない。しかし、インテルがXeon-Nervanaの統合チップを計画しているかどうかは興味深い。

 
  出典:インテルビデオ素材のスクリーンショット、
Lake Crestアーキテクチャ
   

Lake Crestには12のコアが搭載されており、各コアには2つの数学コアユニットが搭載されており、最高40テラopsの性能で、1デバイスあたり210ワット未満で動作する。各チップは32GBの高帯域幅メモリ(HBM2)を搭載し、790ナノ秒未満のレイテンシで2.4テラビット/秒のオフチップI / O帯域幅を提供している。

高い計算効率と堅牢なモデル並列性は、Nervanaプラットフォームを構築するインテルの主な目標であり、同社はLake Crestが両方を達成すると考えている。インテルのベンチマークによれば、GEMM(General Matrix to Matrix Multiplication)オペレーションは96%以上の利用率を達成しており、1チップ上で理論上ではなく実際のパフォーマンスで約38テラopsを達成している。同社はさらに、Lake Crestが96.2%のスケーリング効率を達成したと述べている。詳しくは、Raoのブログ記事を参照。

この記事では、Raoは次のように書いている。「私たちの業界では、最大理論性能やTOP / sの数値について多くのことを話しています。実際には、その計算の多くは、その計算要素の高い利用率をサポートできるメモリサブシステムをアーキテクチャに持たない限り意味がありません。さらに、業界で公開されている性能データの多くは、実際のニューラルネットワークでは一般的に見られない大きな正方行列を使用しているのです。」

「インテルでは、低遅延で高いチップ対チップ帯域幅を持つニューラル・ネットワーク用にバランスの取れたアーキテクチャを作成することに注力しました。当社のNNPファミリの初期性能ベンチマークでは、利用率と相互接続性の両方において強力な競合結果を示しています。」

Raoはまた、Spring Crestがニューラルネットワークに採用されている新しい数値形式であるbfloat16をサポートすると発表した。 「基本的に32ビットの浮動小数点数を取って16ビットにすることで、I / Oをより効果的に使用できるようになります。なぜなら、ビットの半分を動かして、より小さな乗算器を構築できるようになり、ダイ上にもっと多く置けるようになって、それを低電力でできるのです。」とRaoは述べており、さらに、bfloat16は、より大きな32ビット・メモリと同じアルゴリズム性能と収束性を達成できると付け加えた。インテルは当初bfloat16をNervanaプラットフォームに導入し、そのサポートをAI製品ライン全体に拡張する予定であると述べている。

最終的なポイントとしてRaoは、インテルが推論のための個別のアクセラレータにも取り組んでいることを訴えた。詳細については、今後の予定だ。

インテルNervana Lake Crestアーキテクチャーのアニメーション: