セレブラ社、トタルエナジー社、ステンシル・アルゴリズムの飛躍を発表

Oliver Peckham

セレブラス・システムズは、数年前から、ディナープレート・サイズの巨大なウェーハスケール・エンジン（WSE）チップで話題を呼んでおり、企業の「最も野心的なAI目標」の達成を支援することを目的としている。今回、セレブラス社は、フランスの多国籍企業であるトタルエナジー社と共同で、セレブラス社のCS-2システム（ヘッダーの写真）を用いて、大規模スケーラブルなステンシル・アルゴリズムの開発を発表した。

セレブラス社の技術スタッフであるマティアス・クレモンは、ブログの中で、「ステンシルアルゴリズムは、多くのハイパフォーマンス・コンピューティング・アプリケーションの中核をなしています。それらは、流体力学、天気予報、地震イメージングなど、いくつかの偏微分方程式を解くために使用されています。」

ステンシルアルゴリズムは、伝統的に入力データへのアクセスに多くの時間を費やすが、そのデータから結果を計算することには通常あまり時間を費やさないとクレモンは解説した。このため、CPUやGPUのような階層型メモリアーキテクチャでは、計算が必要な問題をうまく処理することが難しく、ステンシルアルゴリズムは、メモリが必要な問題であると言える。その結果、計算資源の規模を拡大したり、クロック速度を上げても、結果がほとんど改善されないことが多いとクレモンは指摘する。一方、データ転送の効率改善にはよく反応する。

	アプリケーションで使用された25ポイントのステンシル　画像提供：セレブラス・システムズ社

セレブラス社とトタルエナジー社のスタッフは、「セレブラスCS-2にステンシルアルゴリズムを実装する新しい方法」を開発し、アルゴリズムをセレブラスソフトウェア言語（CSL）で記述し、WSEの「非常に大きなメモリバンド幅」（20PB/s）を活用して、テスト問題のデータ転送の効率を最大化させた。問題のテスト問題：Minimod は，トタルエナジー社が新しいハードウェ アを評価するために使用しているベンチマーク問題で，25 ポイントのステンシルを使用して解かれる。トタルエナジー社は以前、別のステンシルアルゴリズム（その場合は地震モデリングコード）を使用して CS-2 を評価したことがある。

また，このベンチマーク問題を Nvidia A100 ベースのシステム（40GB 品）でも実行し，アクセラレーター間の比較実験を行った。WSE-2実装では、問題解決までの時間が全体で0.075～0.076秒であったのに対し、A100実装では、問題サイズが小さい場合には0.79秒だったが、問題サイズが大きくなると徐々に増加し、15.51秒に達した。

セレブラス・システムズ社提供

クレモンは、「WSE-2は、ここで示した最大のサイズにおいて、A100を220倍以上上回っています」と述べている。「WSE-2の弱いスケーリング効率は、すべてのサイズで98%以上と、ほぼ完璧です。HPCの経験豊富な実務家にとって、これらはいずれも驚くべき結果です。」

研究者たちは現在、WSE-2向けに、より複雑なステンシルおよび機械学習ベースのアプリケーションに取り組んでいる。

この研究の詳細については、クレモンのブログ記事をこちらで、arXivの論文をこちらでお読みください。