SC21でのJack Dongarra、Top500と退職後の計画

Tiffany Trader

HPCwireの編集長であるTiffany Traderは、セントルイスで開催されたSC21において、Top500の共同創設者であり、テネシー大学の特別教授であるJack Dongarraと対談し、最新のTop500リスト、世界のエクサスケール・コンピューティングの見通し、そしてバイキングのヘルメットの写真で何が起こっているのかについて語った。さらに、2022年に向けての展望も語っている。

---

Tiffany Trader: こんにちは、私はHPCwireの編集長のTiffany Traderです。セントルイスで開催されたSC21で私と一緒にいるのは、Jack Dongarraです。Jack Dongarraは紹介するまでもないでしょう。彼は、Top500の共同設立者であり、Linpackベンチマークの創始者であり、テネシー大学の著名な教授であり、オークリッジ国立研究所とマンチェスター大学にも所属しています。Jack、私たちはSC21にいます。あなたは何回目のSCなのでしょうか？

	SC16で集合写真を撮る皆勤のメンバー。

Jack Dongarra：こんにちは。私は、すべてのSCに参加したことのある選ばれた一人です。SCは1988年に始まりました。そして、すべてのカンファレンスに参加したことのある人は18人います。今年は少し変わっていて、全員が直接ここに来ているわけではありません。中にはバーチャルで参加している人もいます。でも、1988年に始まって以来、すべてのカンファレンスに参加しています。

Trader: そして、皆さんは皆勤賞の指定を受けていますが・・・。

Dongarra: 私たちは皆勤賞の指定を受けています。それが私たちの名声の証です。

Trader: 往年のスパコンといえば、少し前にバイキングのヘルメットをかぶった象徴的な写真がありますが、あれはどういう背景があるのでしょうか。

Dongarra: あれはミネソタ州のミネアポリスで開催されたスーパーコンピューティング[SC92]のときのものですね。もちろん11月のことで、凍えるような寒さでした。インテルが開いたパーティーでは、その一環としてヘルメットが配られたんですよ。そのヘルメットは、今でも私の孫が使っていて、とても喜んでくれています。

インテルのパーティーは、いくつかの点で少し変わっていました。ひとつは、NFLのバイキングのチアリーダーを雇って、パーティーでパフォーマンスをしてもらったことです。もうひとつ印象に残っているのは、出展者向けのパーティーだったと思いますが、ミネアポリスのプリンスのクラブで開催されたパーティーです。大音量の音楽が流れ、酒が入り、いろいろなことが行われていた。1時頃、プリンスのクラブを出ようと思って、私たちが使っていた入り口を出ようとしたら、誰かが私に「どいてくれ」と言ったんです。そんなことを言われても、ちょっとショックだった。それで、車が停まって、プリンスが飛び出してきて、自分のクラブに入っていったんです。

Trader: その話を聞いて、多くの人が嫉妬すると思いますよ。なかなかいい話ですね。今年のショーでは、もうひとつ重要な肩書きとして、あなたが基調講演の司会を務めていますね。そして、月曜日の夜にはとても素晴らしいプレナリーがありました。それはDan Reedが議長を務める「HPC、AI、倫理」のプレナリーでした。そして今朝の基調講演には、インターネットの父であり、Googleのインターネット・エバンジェリストでもあるVint Cerfを迎えました。つまり、どうやってその人たちを選んだのかということです。

Dongarra：そうですね、今年はBronis（de Supinksi SC会長）から、カンファレンスをまとめるチームの一員として参加するように頼まれました。私は実行委員会に所属していますが、今年の私の責任はキーノートを推進すること、つまりキーノート・スピーカーを選ぶことです。そして、その責任の一部として、このパネルをまとめることもあります。これがSCのプレナリ・パネルになります。Dan Reedとは昔からの知り合いです。彼はその議長を務めていました。彼はたくさんの名前を提案してくれました。私たちは、バーチャルなパネリストではなく、直接会って話をするパネルにしたかったのです。そのため、準備には少々苦労しました。しかし、素晴らしいパネルが揃いました。宇宙飛行士がパネルに参加したのは初めてのことだと思います。弁護士、医学者、科学者もいました。倫理やスーパーコンピュータへの影響、将来の展望などについて、非常に充実したメンバーで話し合うことができました。非常に興味深いパネルで、とても魅力的でした。

今朝の基調講演では、Vint Cerfが登場しました。Vint Cerfとは何年も前からの知り合いです。依頼を受けたとき、彼はとても快く引き受けてくれました。私は以前、彼がいろいろなことについて話しているのを聞いたことがあったので、この会議のテーマが「科学とその先」や「人文科学」などに関連していることから、彼に講演をしてもらうことを提案しました。彼がテネシー大学で行った講演を聞いたことがあるのですが、それが今日の話に関連していたのです。とてもいい話だと思いました。観客の興味を引くように、適切なレベルで話を進めることができていました。私が座っていた場所では、講堂全体が満席だったように見えましたが、これにはとても感心しました。私たちはそのことを心配していました。もちろん、パンデミックの影響でそうはならないでしょうが、Vintは知名度が高いので、非常に多くの観客を集めることができたのだと思います。今日のプレゼンテーションでも、彼はとてもうまくいったと思います。多くの人が楽しんでくれたと思います。

Trader: 「倫理とHPCの交差点」のパネルと同様、参加者は多かったですね。このイベントはハイブリッド型なので、参加者全員にライブストリーミングが行われました。また、これらの映像はオンデマンドでもご覧いただけます。まだご覧になっていない方は、ぜひチェックされることをお勧めします。

Dongarra: はい。そうですね。だいたい45分から1時間くらいですね。オンラインでも公開されていますし、話の内容を理解するためにも、ぜひ聞いてみてください。

Trader: SCとヨーロッパのISCの代表的なイベントのひとつに、年に2回発表されるTop500リストがありますね。今回も例外ではありませんでした。昨日の月曜日に行われたTop500のプレスブリーフィングでは、あなたをはじめとするリスト作成者やGreen500のリスト作成者と一緒に参加しました。もしよろしければ、このリストについて少しご紹介しましょう。また、HPCwireでは、より多くのフィードとスピード、そしてその完全なカバレッジを見ることができます。しかし私が思ったのは、やはりこのハイブリッドなイベントにしては、驚くほどとは言わないまでも、非常に豊富で堅牢なものだったということです。このようなイベントには何度も参加していますが、良いイベントだったと思います。

Dongarra: いいものでした。

Trader: 形式は少し違っていて、ライブストリーミングを見ている人たちから質問を受けるというものでした。彼らは面白い質問をしていましたね。そして私もいくつか質問をしました。そこで出てきた質問の一部を紹介します。システムの違いや地政学的な問題、特に中国がシステムを抑制していることについて話していたのですが、それによってリストの妥当性や有用性、あるいは大企業がリストに入っていない場合の影響などが浮かび上がってきましたね。

Dongarra：そのとおりです。今年のリストは、トップエンドにはあまり新しいマシンがないようですね。トップ10では、1台の新規参入がありますが…。

Trader: 10位ですね。

Dongarra: はい10位です。

Trader: 富岳は相変わらずトップですね。

Dongarra: 富岳が引き続きトップです。 そうですね。非常に印象的なマシンですね。これで4回目の1位になりました。

Trader: 松岡聡さんに乾杯。

Dongarra: 松岡聡氏は、あのアーキテクチャ、あのマシン、そしてその運用方法について多くの賞賛を受けるべきです。私たちは、エクサスケールに対応した新たなエントリーがあることを期待していました。オークリッジでマシンが開発されていることは知っています。私はそれを見たことがあります。

	SC21のAMDブースに展示されたFrontierノード

Trader: 彼らはノードの1つを盗んで展示場に置いたんです。AMDのブースにありますよ。

Dongarra：知りませんでした……マシンはまだ完成していないんです。大きなマシンですからね。もちろん、そのような大規模なマシンを組み立てるときには、最初にそれを持ち出すのは難しいことです。ハードウエアだけでなく、ソフトウエアも含めた初期段階での課題に直面しているのだと思います。これは珍しいことではなく、すべてのマシンに共通することです。タイミング的にエントリーが間に合わなかったということです。6月のリストにはきっと間に合うと思います。そこでエクサスケール・マシンを見ることができます。

中国には、少なくとも2台のエクサスケール・マシンがあると言われています。これは噂によるもので、もちろん結果は見ていません。結果は見ていませんが、それなりのソースからの情報です。そこで疑問に思うのは、なぜそれらのマシンがリストに掲載されていないのかということです。なぜ控えているのか？それにはいくつかの理由があると思います。ひとつは、中国が米国政府とのバランスを崩したくないという理由が考えられます。中国が米国の技術を凌駕するような技術を開発することに少し懸念を抱いているのは、おそらくそのためだと思います。そうなると、中国を怒らせるような反応をする人も出てくるかもしれません。中国がどこで部品を作り、チップを製造しているのかは不明です。おそらくTSMCで製造しているでしょうから、台湾がチップの供給元になると思います。アメリカ政府は、それに対して何らかの反応を示すかもしれません。

無錫で中国の若い記者たちからインタビューを受けるJack Dongarra（2017年5月） Credit: HPCwire

だからこそ、彼らがマシンを公開していない理由として、1つの論拠になると思います。それらのマシンは秘密ではありません。ゴードン・ベル賞のエントリーがありますが、それはそれらのマシンの1つで実行されたものです。その結果は非常に素晴らしいものでした。アーキテクチャも詳細に説明されています。そのため、そのマシンがどのようなものかをよく理解することができました。ハイパフォーマンスコンピューティングの問題を解決するための非常に強力なシステムであることがわかります。Linpackナンバーを取得するために作られたスタントマシンのように思われることがあります。無錫のマシン、SUNWAYのマシンが登場したときもそう言われました。しかし実際には、非常にパワフルなマシンであり、科学のために使われており、ゴードン・ベル賞を受賞することができました。このことは、このマシンがTop500で1位を取るための一過性のスタントではないことを示していると思います。ですから、中国製のマシンが正式に発表されたときには、私はそのように感じています……では、発表されるとはどういうことなのでしょうか？そうですね、TOP500に入るためには提出しなければなりません。ベンチマークの結果を示し、一定の性能を達成したことを証明するようなものを、積極的に提出していただく必要があります。その方法は簡単で、ウェブサイトをクリックしてファイルをアップロードし、次回のTop500リスト発表時にそのファイルがTop500リストの一部となります。しかし、現時点ではそれができていません。ですから、私たちはそれを待っていますし、期待しています。もしかしたら、6月にはエクサスケールのマシンが3台出てくるかもしれません。現在のリストの1位が440ペタフロップスであることを考えると、それはリストに大きな変化をもたらすでしょう。もしエクサスケールのマシンが3台になれば、それだけでリストが大きく変わります。つまり、ハイパフォーマンス・コンピューティングの分野では、進歩が続いていることを示すエキサイティングな時代になるのです。今はむしろ低迷しているように見え、とても静かです。

Trader: ええ、リストにはいくつかの自然なステップがあります。しかし、これが最大のステップになるでしょう。

Dongarra: それは大きなジャンプになるでしょう。

Trader: 大きな飛躍、そうですね。あなたは本当に興味深い情報をたくさん提供してくれました。その中で私が注目したのは、（中国が）Top500から撤退したということです。しかし、彼らはその努力をfゴードン・ベルのリストに振り向けました。その結果、実際に興味深い研究結果が得られています。

Dongarra:　これは素晴らしいことだと思います。これらのマシンがどのように使われ、どのようなメリットをもたらし、アプリケーションにどの程度の期待ができるのかを理解するためには、さまざまな指標が必要です。Top500の発表はそのひとつだと思います。ゴードン・ベル賞の受賞は、大規模なマシンで実際の問題を解決し、他のマシンではできないようなことができるという事実を示しています。このことは、科学機器の重要性を示しています。私はスーパーコンピュータを、ハッブル望遠鏡やウェッブ望遠鏡のような、他にはない科学機器だと考えています。適切に使用されれば、科学のフロンティアを押し広げる機会にもなります。これこそがスーパーコンピュータの役割なのです。

Trader: よくぞ言ってくれました。もうひとつ考えたのですが、あなたがおっしゃったように、米国ではオークリッジ国立研究所とアルゴンヌ国立研究所の2つのエクサスケールマシンがリストアップされる可能性があります。そして、中国がどのような結果を出すか。4台になるかもしれませんね。米国では、興味深い考察がなされています。インテルとアルゴンヌは2～3週間前に、来るべきAuroraシステムのサイズを基本的に2倍にすることを発表しました。今、一部の人々が注目しているのは、タイムラインがどうなるのかということだと思います。そして、オークリッジがフロアに設置して先行していたとしても、もし何らかの方法で同じリストに入ることができれば、2022年6月になります。

Dongarra：来年、オークリッジとアルゴンヌのマシンが登場するのは素晴らしいことだと思いますよ。アルゴンヌのマシンが成功するかどうか、私は疑問を持っています。しかし、それは確かに可能性の範囲内だと思います。しかし、オークリッジのマシンがリストに載ることは確信しています。あのマシンはすでに稼働しています。あとはチューニングの問題ですね。

Trader: そうですね。あくまでも推測ですが、アルゴンヌがハーフサイズになって、その後フルサイズにならない可能性もありますね。私はそのことについて具体的な知識を持っていません。しかし、第1段階と第2段階があるというのは、よくある合理的なことだと思います。よくあることですね。

Dongarra: それから、リバモア・マシンという別のマシンも、もう少し後に登場しますよね。

Trader:トレーダー：はい。コーナーを曲がったところに来ます。

Dongarra: はい。大きなマシンが3台ですね。

Trader: はい。それはかなり楽しみですね。地政学と新システムの話をすると、さらに4つの興味深い新システムがあります。最新のリストには、ロシアのシステムも4つ入っていました。4つともトップ50に入っていて、ほとんどがハイパースケールやクラウドに使われていたと思います。手元に速度や給電量はありませんが、かなり重要で、きちんとしたインターコネクトを備えていました。

Dongarra: まともなインターコネクトですね。Nvidiaベースのシステムで、A100アクセラレータが使われていると思います。公式サイトには、AIベースのアプリケーションやクラウドのことが書かれていると思いますが、もちろんその文脈から来ています。正確な配置についての詳細はわかりませんが。そういう意味では、コモディティベースのシステムのようです。特別にカスタマイズされたものはないようです。カスタマイズされたソフトウェアはたくさんあると思います。しかし、その中にカスタマイズされたハードウェアが入っているとは思えません。

Trader: その他、リストの感想や番組の見どころを教えてください。

Dongarra：そうですね、私はここのショーフロアを歩き回れていません。これまでのような大規模なものではなく、活気に満ちた場所です。でも、たくさんのベンダーが来ています。そうでないベンダーもいます。今年のカンファレンスは、ドイツで開催されたISCカンファレンスと同じくらいの規模で、今はもう少し大きいかもしれません。たしか3,500人と今朝聞いた気がします。ドイツのカンファレンスは2,000人くらいだと思います。

Trader: 対面の参加者ですか？

Dongarra: ええ。ここセントルイスでは3,500人が直接参加しています。この展示会は有効で繁盛しているように見えます。リンクが正しく機能していないなど、バーチャルな部分でいくつかの問題がありますが、きっと解決できるでしょう。現在カンファレンスの2日目ですから。

Trader: もうひとつは、ここではSCinetがとても良かったことです。床を高くして。あれはとてもクールだと思いました。かなり適切で、ブランドに合っていると思います。

Dongarra: ええ、ブランドに沿っています。もちろん、彼らは素晴らしい仕事をしてくれます。1週間前、いや2週間前に来て、すべてのセットアップを行い、ネットワークや配線、イベントに必要な無線機器などをすべて設置します。そして、それを1日で取り壊さなければならないのです。信じられないことですよね。

Trader: すべてボランティアで。

Dongarra: ええ、全員ボランティアです。驚くべき話ですよね。

Trader:そうですね。最近、あなたはキャリアや退職後の計画にいくつかの変化があることを明らかにしましたね。そのことについてもう少し詳しく教えてください。

Dongarra: 私は引退することを発表しました。この夏に引退します。テネシー大学には32年間在籍してきました。その時、私は72歳になっていると思います。だから、そろそろ私も身を引いて、ある意味で移行する時期なのです。テネシー大学の名誉教授になるわけですね。それはどういうことでしょうか？名誉教授というのは、教務を担当しないということです。委員会の仕事もありません。オフィスを持つことはできます。研究グループを運営することもできます。いつでも好きなときに来ていいんです。駐車場も無料で使えます。給料は出ませんが、助成金の共同研究者になることもできます。だから、今までと変わらないことがたくさんあります。

私はテネシー州に「Innovative Computing Laboratory」というグループを持っています。研究教授、ポスドク、大学院生、プログラマー、事務スタッフなどで構成されており、45人のグループはソフトマネーで運営されています。ソフトマネーというのは、助成金をもらってそれで給料をもらっているということで、もし助成金がもらえなければ、人に給料を払うお金がないかもしれません。ですから、私たちは一生懸命努力しています。助成金を獲得するためのシステムも充実していますし、成功率も高く、100％ではありませんが、活動を維持するのに十分な成功率です。私の望みは、私が退任して正式に著名な教授の座を降りるときに、そのポジションを埋める人を雇えるようにすることです。MathWorks社から寄付金をいただきました。その方に来ていただいて、32年間続けてきた活動を手伝っていただきたいと思っています。

私は定年退職を楽しみにしています。好きではない仕事からは身を引き、自分の趣味ともいえる楽しい仕事を続けていきたいと思っています。私の趣味の1つはベンチマーキングです。だから、私は船を放棄するつもりはありません。ベンチマークという意味では、Top500、HPCGベンチマーク、HPL-AIベンチマークなどがありますが、その他にもいろいろなものに手を出しています。ですから、これからもいろいろなことを続けていくつもりです。自由な時間が増えれば、これらのことにもう少し協力できるようになるでしょう。

Trader: さらにそうですね。ベンチマークに関する責任と活動を維持しつつ、さらに力を入れることになるでしょうね。また、来年はTop500のプレスブリーフィングでお会いできるかもしれませんね。そのショーはダラスで開催され、SC22もダラスで開催されます。そこに参加されますか？

Dongarra: 私は毎年参加しますよ。

Trader: そうでしたね。来年も楽しみにしています。ご参加ありがとうございました。