シンガポールのスタートアップが立ち上げた大規模なHPC Dev Cloudとは

Tiffany Trader

ほとんどのスーパーコンピュータセンターにおいて、アプリケーション開発のために割り当てられるマシンは10％以下であることが一般的だ。そのような限られた時間は、特に大規模な展開を意図した開発プロジェクトでの妨げとなる。一部の組織ではコード開発のための自社マシンが無い場合や、簡単にはアクセスできない、もしくはまだ市場に出ていないアーキテクチャを評価しようとしている場合もある。

新たな企業では、クラウド上のオンデマンドで利用可能なカスタムメイドのHPC開発システムを使用し、これらすべてのシナリオに対処することを目指している。

待望を抱いた試みの中で、シンガポールを拠点とする新興企業Archananは、大規模コードの構築とテストのためのクラウドベースの開発プラットフォームのベータ版を発売した。コンピュータ・エンジニアでニューヨーク州立大学ストーニーブルック校の卒業生であるAlexander NodelandとLukasz Orlowskiによって2018年2月に設立されたArchananは、シンガポールの主要投資家SGInnovateを含む複数のVCから支援を受けている。

2019年2月、Archanan（「are-KAY-nin」と発音 – Men in Blackのファンは思い出すことがあるかもしれない）は、120万シンガポールドル（881万米ドル）のシードラウンドを行い、現在はOEMや有名なスーパーコンピューティングセンターと提携している。なお、同社の主任科学アドバイザーは、「グスタフソンの法則」で名声を誇るJohn Gustafsonである。

市場には数多くの開発環境ツールキットや一連のHPCクラウドインフラストラクチャが存在するが、ArchananはHPC開発者に本番の機能的レプリカまたはターゲットアーキテクチャのを提供するために、これらのフロントエンドとバックエンドを組み合わせ、ハードウェアレベルの仮想化をさらに強化している。

ベータプログラムに参加した組織は、Archananの開発プラットフォームを介して組織の生産システムをエミュレートした個別の仮想テスト環境にアクセスする。ArchananのWebベースのIDEを使用すると、シンガポール国立スーパーコンピューティングセンターのAspire-1など、いくつかのエミュレートされたスーパーコンピュータ上で、C、C ++およびPythonでの大規模な並列ジョブをデバッグが可能だ。ユーザは、小規模だが増え続けるハードウェアオプションに基づいて、カスタムシステム設計を構築することもできる。

「Archanan IDEは、スケールに合わせてコードを開発することができる目的に応じたparallel debuggerと視覚化ツールを提供します。」とNodelandは述べている。「将来的には、利用可能なスーパーコンピュータエミュレータのライブラリを拡張する予定です。また、自社製ツールとコミュニティツールの両方を含むツールの提供も拡大する予定です。」

クラウドインフラストラクチャ（Amazon Web Servicesはパートナー）を介して提供されるテスト環境では、仮想化、エミュレーション、およびカプセル化のテクノロジを組み合わせることで、すべての運用サーバを稼働させることなく性能測定基準を予測することができる。NodelandはHPCwireのインタビューで、目標はすべてのHPC開発の取組みをクラウドにオフロードできるようにすることであると述べた。

「特により商業的な分野で、より多くの組織が現代のスーパーコンピュータの能力を利用していない主な理由の1つは、これらのより大きくより複雑な規模で効果的なコーディングが大きな課題である」とA * STAR科学技術研究機関のコンピューター科学者兼客員科学者であるGustafsonは語る。 「ノートパソコンと、分散相互接続されたプロセッサの巨大なコレクションであるリモートとの間には大きなギャップがあります。ハードウェアレベルの仮想化とクラウドコンピューティングを組み合わせることで、Archananは技術的な問題だけでなく、このレベルでのコンピューティングの採用における課題を提示している経済的なギャップも埋める方法を見つけました。ついに私たちが業界を超えたハイパフォーマンスコンピューティングの民主化の先端に立たされているということに、興奮を感じています。」

スタック内の抽象化が複数層になっているこれらのテストおよびデバッグシステムは、本番環境のパフォーマンスを再現することを目的としたものではなく、むしろ、多くのHPC開発者が直面する本番マシンサイクルへのアクセス制限によって生じる問題点を解決する。

「私たちは、ユーザが大規模にコードを開発できるオンデマンド環境を提供します。つまり、本番アプリケーションを3万コアで実行する場合は、特にそのようなシナリオでネットワークがどのように動作するのか、MPIがどのように動作するのかなどをテストするため、仮想の3万コアで開発を行うことができます。」と Nodelandは述べた。

開発時間の短縮、目標生産規模でのコード開発、およびその後の開発から運用環境へのポートオーバー失敗の最小化による、結果までの期間の短縮が利点に挙げられる。

同社は、おそらくトップ10または20のトップクラスのマシン以外で、高度なスケーラビリティを確保できると確信している。ホワイトペーパーは現在内部パフォーマンスを文書化する作業中である。

新しいスーパーコンピューティングセンターをそのプラットフォームに搭載するために、Archananはアプリケーションスペシャリスト、ソリューションアーキテクト、およびスーパーコンピューティングセンターのサポートチームと協力してモデルを構築する。それは、すべて同じソフトウェアパッケージ、同じコンパイラ、同じバージョンのLinuxなど（Singularityコンテナにカプセル化されている）を使用し、コンポーネントレベル（プロセッサ、アクセラレータ、ネットワーク要素）までエミュレートする。

これは2週間から2ヶ月のプロセスで、その間Archananチームがエミュレータを微調整して正確にパフォーマンスを予測できるようにする。

Archanan開発プラットフォームには現在、IntelとAMDが提供するx86、およびArmがサポートされている。 また、Nvidia K80およびP100 GPUもサポートされている。現在同社はPower 9とPower 10、さらにNEC Vector Enginesのサポートに取り組んでいる。FPGAを含む他のアーキテクチャのエミュレーションはArchananのロードマップにある。

ベータプログラムに参加しているHPCサイトは、仮想ノード時間に基づくオーバーフロー課金のメカニズムを備えた年間または毎月の購読を通じて、プラットフォームにアクセスする。OEMまたはシステムインテグレータは、入札および試運転プロセス中に顧客に評価システムを提供することができる、という別の使用例もある。そのモデルでは、Archananはマシンのコストの一部でスーパーコンピュータをエミュレートする。

第三に、今後の利用モデルは、個人またはグループのライセンスとなる。Archananは、自分の組織が顧客でなくても小規模のユーザがシステムを試して自分の仕事のためにテストを実行できるよう、Github市場を通じて毎月のメンバーシップを提供する予定だ。

Archananによると、同社のベータ名簿には、シンガポール、オーストラリア、中国に拠点を置くスーパーコンピューティングセンターと研究グループが含まれている。

Archananが当初のターゲット市場で従来のエンタープライズHPCを追いかけている一方で、Nodelandはより一般的なAI、機械学習、そしてビッグデータワークロードへの拡大を見込んでいる。同社は近ごろ、従業員数を2人から7人に増員し、いくつかのポジションで採用を予定している。年末までにスタッフを15人に増員する予定だ。

Nodelandは、彼らのライブラリを構築するためにまだやるべきことがあると認めた。大きな変化を考えれば、同社がGustafsonとThe UberCloudの共同創設者兼CEOであるWolfgang Gentzschの支援を得たことは心強いことである。

「ハイエンドの複雑なコンピューティングのほとんどすべてのソフトウェア開発ツールがデスクトップワークステーションやノートパソコンで使用されているため、これらのツールの開発およびデバッグ機能が大幅に制限されています。それはEtch-a-Sketchで傑作を再現しようとするのと同じです。」とThe UberCloudの共同創設者でありCEOのWolfgang Gentzschは述べた。「Archananのクラウドベースの開発プラットフォームは、これらのワークステーションを拡張し、あたかもこれらの大規模で複雑なアーキテクチャ上で直接行っているかのように、開発者が大規模にコードを構築できるようにします。」