世界のスーパーコンピュータとそれを動かす人々


6月 28, 2021

新たなスケーラビリティ

HPCwire Japan

Addison Snell

編集部注:このゲスト記事では、Intersect360 ResearchのCEOであるAddison Snellが、交差するAI、クラウド、技術選択などのメガトレンド時代におけるHPCのスケーラビリティのダイナミクスを探ります。


HPCはスケーラビリティが命。最もパワフルなシステム。 最大のデータセット。最大のコア、最大のバイト、最高のフロップ、最高のバンド幅。これがHPCスケールだ!

この20年間、スケールアップとスケールアウトに関する議論が繰り返されてきたが、スケーラビリティの定義はあまり変わっていない。しかし、AI、アナリティクス、クラウドなど、さまざまなメガトレンドがもたらす新たな技術的選択の時代には、スケーラビリティの新たな色合いが生まれ、疑問が生じている。それはどのようなものだろう。

混在するワークロードは、今やコンピューティングの最前線である。従来のワークロードがなくなったのではなく、新しいワークロードが加わったのだ。それは、HPCでは、さまざまな分野におけるテクニカル コンピューティングを意味している。HPCが長期的に安定した市場であるのは、これらのアプリケーションが継続的に拡張されるからである。なぜなら、科学が「解決した」という時点に到達することはないからなのだ。より強力なシステムがあれば、科学者やエンジニアはメッシュを改良したり、自由度を追加したりして、より複雑で忠実なモデルを構築することができ、新世代の革新と発見が可能になるだろう。科学的探求の終わりは、5年後でも100年後でもない。テクニカルコンピューティングは前進し続けるのである。

同時に、エンタープライズコンピューティングも安定しているが、これらのアプリケーションも進化している。ERP、CRM、BI、データベースなど、組織が運用方法を変更する可能性はあるものの、これらが完全になくなるとは考えにくい。実際、アナリティクスと機械学習がハイエンドエンタープライズのデジタルトランスフォーメーションの基盤になりつつある中、エンタープライズコンピューティングで進行中の革命こそが、HPCタイプのスケーラビリティを指し示している。

アナリティクスも機械学習もまったく新しい科学ではないが、それぞれが過去10年間でとてつもないブームを巻き起こしている。Intersect360 Research社の調査によると、HPCユーザーの60%以上がすでに同じ環境の一部として機械学習アプリケーションを実行しており、他のアナリストは、HPC以外の幅広い企業においても、物流、顧客サービス、プロセス最適化などのアプリケーションでAIを活用する傾向があると指摘している。その結果、データセンターでは、従来型のワークロードと新しいワークロードが混在したインフラの一部としてサポートされており、それに見合うだけの予算が確保されていない状況である。アナリティクスや機械学習機能をワークロード混在環境に組み込むことが、新しいスケーラビリティの第一の柱となる。

このような新しい要求に応えるために、テクノロジーは進化してきた。かつて、「業界標準」のクラスタは1ポンド単位で計算できる使い捨ての投資と考えられていたが、現在では、様々な処理要素、ネットワークファブリック、ストレージアーキテクチャがヘテロジニアスな環境を形成し、特殊化の時代へと振り子が大きく戻ってきている。

このような技術的進化の中で、特に注目されているのが、GPUを使った演算アクセラレータの普及である。強力な浮動小数点演算機能を持つGPUは、主にNvidia社が提供しており、HPCに大きく貢献した。5年前のIntersect360 Researchのカスタム調査によると、HPCのトップ10のアプリケーション、およびトップ50のうち35のアプリケーションが、すべて何らかの形でGPUアクセラレーションを提供していることがわかった。2020年の調査によると、現在、HPCユーザーの30%がGPUを 「広く採用」しており、さらに49%が 「一部採用 」している。さらに、ディープニューラルネットワーク(DNN)や推論エンジンがGPUに適していることから、GPUはAIの波によって劇的な成長を遂げている。

プロセッサの多様性は、Nvidia GPUだけではない。x86アーキテクチャのCPUに限ってみても、AMD Epycプロセッサは現在、Intel Xeon Scalable CPUと激しい競争を繰り広げている。一方、ARMベースのCPUも注目を集めている。ARMプロセッサは、半期ごとに発表されるTOP500で世界最強のコンピュータとして知られる「富岳」の心臓部に採用されているだけでなく、最近では、HPCの利用状況の調査でIBM Powerプロセッサを上回っている。また、アクセラレータの競争はさらに激化している。AMDには、AMD Infinity Fabricを介してEpycに統合される予定のRadeon GPUがあり、Intelには、近日発売予定のIntel Xe-HPC GPUがある。これらのAMDとIntelの製品は、今年の後半に米国で最初のエクサスケールシステムを動かすことになるだろう。また、ウェハスケールのCerebrasチップのような様々な特殊カスタムプロセッサと同様に、FPGAの導入も増加している(最新のIntersect360 Researchの調査では、HPCユーザーの20%以上が使用)。

調査データ: Adoption of Accelerators in HPC Environments
2021年 Intersect360 Research

 

プロセッサ分野が現在最も多様なテクノロジー分野であるとすれば、HPC、アナリティクス、AIなどのソリューションを求める企業にとって難しい選択を迫られているのは、それだけではない。フラッシュストレージは、バーストバッファ、オールフラッシュアレイ、ノード上のNVMEやパーシステントメモリなどあらゆる形態で導入されており、ローカルからアーカイブまでの新しいストレージ層を生み出し、あらゆるアーキテクチャに対応するカスタムストレージソフトウェアソリューションを提供している。ネットワーキングファブリックも、プロセッシングエレメントを組み込んだ高帯域の相互接続から、コンポーザブルなソフトウェア定義のクラウドまで、さまざまなオプションを提供している。特殊なコンポーネントをフルパフォーマンスで組み込むことができるということは、スケーラビリティのもう一つの側面だ。

また、クラウドについて言えば、あらゆるワークロードを「クラウドで」解決できるという点が、スケーラビリティに関する議論では避けて通れない要素である。クラウドコンピューティングが提供する「無限のスケーラビリティ」は、10年以上前からパブリッククラウドベンダーの主要な価値提案の一つとなっている。それにもかかわらず、ほとんどのHPCユーザーは、作業の大部分をオンプレミスで行っている。HPCユーザーの3分の2はパブリッククラウドを少なくとも何らかの形で利用しているが、それは全体のワークロードの中では少数派だ(グラフ参照)。また、ハイブリッドクラウドが主流となっており、データセンターとクラウドの両方(場合によっては複数のデータセンターと複数のクラウド)でワークロードとデータを管理することは、今日のIT環境におけるもう 1 つの課題となっている。この複雑さに加えて、データはエッジで生成されることが多く、コンピューティングはデータに対応しようとしているという考えもあり、エッジからコア、クラウドへの検討は、新しいスケーラビリティのためのもう一つの主要なタッチポイントとなっている。

調査データ: Percent of HPC Workload in Public Cloud
2021年 Intersect360 Research

 

複数のワークロード、複数のテクノロジー、エッジからコア、そしてクラウドへ。これらは単なる出発点に過ぎず、これらの要素が複合的に絡み合っていることを意味します。どのベンダー?どの標準規格?どのミドルウェア環境?実際には、ストレージのドメインネームスペースやアベイラビリティゾーンの管理、プログラミングモデルや移行ツールの選択、コンポーザブルファブリックのロードバランシングによる最適なスループットの実現、長期的なサービスレベルアグリーメントにおけるデータエグレス料金の交渉、新機能と実績あるソリューションとの間の綱渡りなど、様々な決定事項が存在する。

驚くべきことに、これらの検討事項は、HPCからエンタープライズまで、エントリーレベルのクラスタから世界最大のスーパーコンピュータまで、すべての人に影響を与えており、すべての人がオンプレミスとオフプレミスの両方でテクノロジーコンポーネントをワークロードに適合させようとしている。このような専門化の時代には、質問の種類と同様にソリューションも多様化する。そして、長年の疑問である「拡張性はあるのか」という点に関しては、単に追加するだけでは答えが出ないのだ。

ワークロード、テクノロジー、プロトコル、標準、ドメインを超えて、クラウド、エッジ、コアに至るまで、現在から将来に至るまでのスケーリング。これが新しいスケーラビリティである。いつものように、正しく理解することには多大なメリットがあり、信じられないような革新と洞察がすぐそこにある。しかし、専門化が進むこの新時代において、スケーラビリティはもはや大企業だけのものではない。

著者について

 
   

Addison Snellは、インターセクト360リサーチのCEOであり、ハイパフォーマンスコンピューティング業界のベテランである。Addisonは、2007年にTabor Communicationsの一部門であるTabor Researchを立ち上げ、2009年にパートナーのChristopher Willard, Ph.D.と共にTabor Researchを買収するまで、同社の副社長兼GMを務めた。その間にAddisonは、Intersect360 Researchを市場情報、分析、コンサルティングの最高の情報源として設立させた。