世界のスーパーコンピュータとそれを動かす人々


9月 26, 2017

マイクロソフトとインテル、FPGA駆動のBrainwaveプロジェクトを公表

HPCwire Japan

Doug Black

我々は、FPGAが光速のような処理能力を持ち、高密度データのAIワークロードに自然に適合する性質を知っている。しかし我々はまた、FPGAがIT業界を狂わせるユーザビリティやプログラマビリティの問題を抱えていることも知っているのだ。 FANG(Facebook、Amazon / Azure(Microsoft)、Netflix、Google)のようなリソースを多く持つ企業が、AIアプリケーションのための実用的な技術として、FPGAを取り入れようとしている。

マイクロソフトは、インテルの新しい14nm Stratix 10およびその他のFPGAテクノロジを使用して、これを実現するために取り組んでいる。同社は、Azureパブリッククラウドインフラストラクチャで利用できる「リアルタイムAI」機能であるBrainwaveプロジェクトを開始した。ビデオ、センサー、検索クエリなどのライブデータストリームを処理し、ユーザーに迅速にデータを配信するように設計されている。

マイクロソフトは、半導体シンポジウムであるHot Chips 2017で、FPGAベースのディープラーニング・プラットフォームを実演した。このStratix 10は39.5テラフロップ(マイクロソフトのカスタム8ビット浮動小数点フォーマットms-fp8を使用)の持続性能を示し、各要求を1ミリ秒未満で実行したとマイクロソフトは報告している。 「このレベルの性能では、Brainwaveアーキテクチャは、10サイクルごとに1つのマクロ命令が発行されることにより、1サイクルあたり130,000を超える演算処理の実行を維持します。」

マイクロソフトは、パブリッククラウドインフラストラクチャにFPGAを導入する最初の主要クラウドサービスプロバイダであると述べている。インテルによると、「インテルStratix 10 FPGAで本日お見せした技術の進歩は、人間の脳と概念的に類似した形で「思考」を再現するディープ・ニューラル・ネットワーク(DNN)の加速を可能にします。」と言っている。

インテルとマイクロソフトは、Stratix 10の性能を「現在の高性能を達成するために複数の要求をまとめてグループ化することを要求する多くのシリコンAIアクセラレータ(「バッチング」と呼ばれるもの)」とを比較している。Stratix 10は単一リクエストにおいて持続性能で39テラフロップス以上を出していると述べており、「リアルタイムのAI計算のための新しいレベルのクラウド性能であり、レイテンシが低く、レコードパフォーマンスが向上し、AIリクエストのバッチフリー実行が可能になった。」としている。

マイクロソフト・リサーチNExTの著名な技術者であるDoug Burgerは、「インテルFPGAの柔軟性を活用して、新しいイノベーションを迅速に組み込み、多くのASICベースのディープ・ラーニング・プロセッシング・ユニットと同等かそれ以上の性能を提供しています。」と述べている。

マイクロソフトは、Brainwaveプロジェクトは3つの主要なレイヤーで構築されていると述べている。

まず、過去数年間にマイクロソフトが展開してきた巨大なFPGAインフラストラクチャを活用している。 「高性能FPGAをデータセンターネットワークに直接接続することで、DNNをハードウェアマイクロサービスとして提供することができます。DNNは、リモートFPGAのプールにマップされ、ループにソフトウェアを持たないサーバによって呼び出されます。」とBurgerは述べている。このアーキテクチャは、CPUがインカミング要求を処理する必要がなく、高いスループットを可能にするため、待ち時間を短縮する。

第二に、Brainwaveプロジェクトは、FPGA上に合成された「ソフトな」DNN処理ユニット(またはDPU)を使用し、「合成時に必要とされるデータタイプを決定することで、さまざまなデータタイプに対応する設計を提供している。この設計はPGA上のASICデジタル信号処理ブロックと合成可能なロジックの両方を組み合わせて、より多くの最適化された機能ユニットを提供している。」

Burgerは、このアプローチは、「この技術革新を基本的にこの高速移動空間では基本となる(通常は数週間)ハードウェアプラットフォームに迅速に組み込むことができます。その結果、これらのハードコーディングされたDPUチップと同等以上の性能を達成しましており、今日の約束どおりの性能を実現しています。」

第3に、Brainwaveプロジェクトには、広く使われているディープラーニング・フレームワークをサポートするように設計されたソフトウェアスタックが組み込まれている。「私達はマイクロソフトコグニティブ・ツールキットとGoogleのTensorflowをすでにサポートしており、他の多くのサポートを計画しています。」とBurgerは語った。「グラフベースの中間表現を定義し、一般的なフレームワークで訓練されたモデルを変換し、高性能インフラストラクチャにコンパイルするのです。」

「この強力でリアルタイムなAIシステムをAzureのユーザに提供することで、Bingなどのサービスを通じて間接的なアクセスを補完して、Brainwaveプロジェクトの恩恵を受けることができるのです。」とBurgerは述べている。

出典:マイクロソフト