シリコンを手にしたEsperantoが1,092コアRISC-Vチップの効率化に挑む

Oliver Peckham

昨年12月、Esperanto Technologies社は、機械学習を目的とした新しいRISC-Vベースのチップ「ET-SoC-1」を発表して話題となった。このチップは、約1,100個のコアを1枚のPCIeカードに6個分収まるほど小さなパッケージに搭載している。そして今、Esperantoはシリコンを手に、ET-SoC-1のエネルギー効率を大胆に予測して、競合他社を狙い撃ちしている。

ET-SoC-1

まず、おさらいしておこう。ET-SoC-1は、スタンドアロンのプロセッサとしても、PCIe駆動のアクセラレータとしても動作する。先日開催されたHot Chips 33で、Esperanto Technologies社の創業者兼会長のDave Ditzelは、この製品を「世界最高性能の商用RISC-Vチップ」と呼んだ。

「7nmの1つのチップに、エネルギー効率の高いET-Minion RISC-Vプロセッサを1088個搭載し、それぞれが独自のベクトル/テンソルユニットを備え、4つの高性能なET-Maxion RISC-Vプロセッサ、1億6000万バイトを超えるオンチップSRAM、外付けDRAMとフラッシュメモリ用のインターフェースを備えています。」 と彼は述べている。

このチップは、機械学習の推奨ワークロードを対象としている。Ditzelは、機械学習の人気が高まっていることに加えて、パフォーマンス・メモリの要求が厳しいことから、データセンターにとって最も重要なワークロードの一つであると述べている。これらのデータセンターの多くは、PCIeスロットが空いているx86サーバーを使用しているため、Esperanto Technologies社は高性能なPCIeカードを使って既存のデータセンターに参入することができるとDitzelは説明している。

エネルギー効率によるパフォーマンスの最大化

既存のデータセンターに参入するには、一連の要件を満たす必要がある。おそらく最も重要なことは、PCIeスロットの電力バジェットが75～120ワットと限られていることである。Ditzelは、「Esperantoの課題は、当社のチップを6個以上使用しないで、120ワット以下の電力で、最高の推奨性能を1枚のPCIeベースのアクセラレータカードに搭載する方法でした。」と述べている。これにより、Esperanto社は分岐点に立たされた。

「他のソリューションの中には、1つの巨大なホットチップを使用して、アクセラレータカードの電力バジェットをすべて使い切ってしまうものもあります。」とDitzelは言う。「シングルチップソリューションは、しばしば最高の動作周波数を追求しますが、これは非常に高い電力を伴い、エネルギー効率も高くありません。Esperanto Technologies社は、トランジスタ、特に7nm FinFETは、低電圧で動作させた方がはるかにエネルギー効率が良いことに気付いたのです。」

Ditzelは、ET-SoC-1のエネルギー効率（1ワットあたりの1秒あたりの推論数で表記）を動作電圧を変えてグラフで示し、この点を説明した。

画像提供：Dave Ditzel/Esperanto Technologies社

Ditzelによると、最も高い動作周波数（0.9ボルト）では、チップ1個で275ワットを消費し、PCIeスロットの電力バジェットをはるかに超えてしまう。一方、0.67ボルトでは、電力バジェットをわずかに下回ることができるのだ。

しかし、エネルギー効率のグラフのピークに従うと、チップ全体の消費電力はわずか8.5ワットとなり、6個のチップで120ワットの枠内に「余裕」で収まる。6チップの場合、性能は1チップの場合の2.5倍の性能となり、エネルギー効率は275Wの場合の20倍になります。

Ditzelによると、0.4ボルト程度の電圧で動作させると、1チップで約20ワットの電力を消費するという。この電圧で6個のチップを使うと、1個の場合に比べて4倍の性能が得られる。

Glacier Point v2 PCIeカードの片側に3つのET-SoC-1チップを搭載した場合の例。画像提供：Dave Ditzel/Esperanto Technologies社

競合他社との対決

もちろん、Esperanto社は、ますます混迷するアクセラレータの分野に立ち向かっている。では、ここまで効率化を図ってきたET-SoC-1は、実際にはどのような性能を持っているのだろうか。

そこでEsperanto Technologies社は、サーバチップの一例であるIntel Xeon Platinum 8380H 8Sと、2つのNvidia GPU（A10とT4）を対象としたMLPerf深層学習推薦モデルのベンチマークを実施した。ET-SoC-1に関して、Ditzelは、「これまでに示されたEsperantoの性能（指標）はすべて、チップ全体のゲートレベルシミュレーションと、シノプシスの大規模なZeBuハードウェアエミュレーションシステムに基づいた予測です。」 と述べている。

Xeonチップを基準にして、Esperantoは4つのプロセッサの相対的な性能とワットあたりの相対的な性能を比較した。T4はXeonチップの11倍、ワット当たりの性能は39倍、A10は31倍、52倍、ET-SoC-1は59倍、123倍という結果になった。

画像提供：Dave Ditzel/Esperanto Technologies社

推論ベンチマーク「ResNet-50」では、各プロセッサは同様の結果を示し、ET-SoC-1はXeonチップの15.4倍、1ワットあたりの性能は25.7倍となり、再び1位になった。

当然のことながら、Esperanto社が特に注目しているのは、ワット当たりの性能での優位性の予測である。

「私たちは、ワットあたりの性能のほうが優れていると考えています。なぜなら、誰もが同じような電力使用量で測定すべきだからです。」とDitzelは言う。

将来展望

	ET-SOC-1のシリコン。画像提供：Dave Ditzel/Esperanto Technologies社

Ditzelはプレゼンテーションの中で、オープンソースのGlacier Point設計を用いれば、1つの大規模なデータセンターに数百万個のET-SoC-1チップを搭載することができると述べた。しかし、今のところ、マウンテンビューに拠点を置く同社は、まだその基礎を築いているところだ。Ditzelは、7nmのET-SoC-1チップが最初に搭載されたパッケージを見せながら、「この記録の時点では、ラボにシリコンが届き、チップテストを開始しているところです。」と語った。

詳しくは、Esperanto Technologies社に関する過去の記事をご覧ください。