シリアルスピードの未来へ戻れ？

Bill Sembrat

ここ数十年の間、我々は性能が大きく向上した。「既製のコンポーネント」へ向い、チップとコアの数がこれまでよりかなり多くなるのに加えて増加するプロセッサ改善の尾に乗って以来、これが永遠に続けることができないことを認識するようになった。

我々だけで、これらの複雑なものを動作させるのに必要な電力のためだけに、独自の電力会社を所有することに向き合うまで、我々は、大量のラックで多くのますます大きな部屋を埋めていた。別の面で私は、これらのハイエンドシステムの高いコストに対するより大きな懸念を予想した。

また、最近、多くの疑問、懸念、討論、コメント、問題に関する記事、さらには余分な資金を提供するために進むべき方向性について十分な懸念があったために、他の人が疑念を上げているようだが、しかし少しは、根本的問題を見ているように思え、そして前進する物事は変化する必要があると言う。

私たちは、より長く、そして私たちがイメージしたよりもより遠く、ここまで世の中の潮流(列車)に乗れて幸運だった。しかし、今では、その潮流(列車)を維持していくために、ますます困難でより高価になってきている。だから、旅慣れた道を深く見てみよう。約20年前、HPCの潮流(列車)は、特注プロセッサと特注システムから既製のプロセッサやシステムの道に切り替えた。それはとても実りの多い旅だった。

私は、最近、速度向上の大部分は、並列処理(パラレル)側から来ていることに気づくことは非常に賢明なことだと思う。私(我々)は、常に非常に逐次処理(シリアル)側に集中していた。この時点で、おそらく私は自分自身についての何か言う必要がある。私は、何年もの間Seymour Crayとの仕事に恵まれた。そこで、我々、私は、SeymourとSeymourのマシンとの私の係り合いと経験であることに言及する。Seymourは、決してどんな競争にも参加していなかったし、実際に他の誰かが何をやるやらないついて関心の対象ではなかったが、しかし実際のワークロードにおけるシリアル速度を探求し向上させることには常に興味を持っていた。我々は、主にシリアル速度に焦点を当て、そのために物事をシンプルに保ち、より少ないオーバーヘッドと高いシステム効率で、システムを簡単に使え、簡単にプログラムできるようにしていた。

いくつかは、パラレル速度対シリアル速度についてSeymourに話をしたかも知れないが、Seymourがシリアル速度の向上に集中し続けるために、いつもに完全に自覚し、自分自身を規律していたことを私は伝えることができる。彼は、より多くの価値を加え、もっと貢献できたと感じ、個人的にもっと挑戦的でであった。そして、彼は非常に仕事をすることが好きで、シリアルの改善に取り組んでいた。

彼はそれを認めないだろうが、彼はまた、シリアル速度の「王」だったことを知っていた。単なる側面のコメントすると、Seymourは、並列プロセッサの行き着く先を探索することに興味を持っていたし、我々は3000万プロセッサの設計目標を持つプロトタイプの並列マシンを動作させていたが、それは全く別の話である。このトピックに戻って、私たちは本当にいつも「Cray」でのシリアル速度に高い焦点を当てていた。最後の20有余年にわたり、現在の既製品の道筋は、シリアル速度の向上だったが、これまで以上にますますパラレル速度の改善に依存してくる。パラレル速度の向上は、当然、より高いオーバーヘッドと低いシステム効率に加えて電力コストと、そしてリストの一番上に入るために今までより高いコストと関連付けられている。

それ故、大きく費用対効果の改善を得るために、私たちはシリアル速度の向上に再び集中を戻す必要があると思う。我々は、これらの種類の改善を導く事ができる根幹レベルの変化に対処することにより、50倍以上の速度改善をシリアル速度の向上に取り組むことにより達成することができると信じている。これは、メモリが追い付くことができず、動けず、そして部屋の中の大きな象になると言う驚くべき結論がひとつ速やかに導かれる。だから、本当にどのようにメモリが使用されているか見る必要があり、そして実際にそれを見る唯一の方法は、白紙に戻し、メモリを破棄することである。それについて考えるためには、最初にそれを取り除き、新規にやり直す必要がある。白​​紙で新規に始める仕事次第では無いかも知れない。これはかなり大変な仕事で、人が考えることほど単純ではない。

Seymourは、いつも薄いライトブルーのラインのある白紙パッドと2号鉛筆を常に好む一方、一度に、誰もが「次」のマシンを設計するためにコンピュータと、場合によっては「Cray」スーパーコンピュータさえ使い始めたように思えた。Einsteinは、必要ないか、もしくは彼の理論のためにコンピュータを使用し、Peter Higgsはどちらか一方を使用していなかった考える。大きな飛躍と大事なことは、非常に単純な根本のアイデアから来ているようだ。また、積極的に出来る姿勢でいつも臨むことは、一見不可能な仕事でさえも、おそらく最も重要な部分である。

現在使用されているメモリモデルは、主に70年前のモデルに基づいている。もし、その時、プリンストンの農家/納屋の中にあったモデルを思い付いた男として、目を覚ますことができれば、彼らは大きな進化と発展に非常に驚くだろうが、非常に短い手順で彼らは今日のマシンをプログラムできるようになるだろう – なので、幾つかの点で物事は実際にあまり変わっていない。他の領域は、専念し、変わる必要があるが、メモリは最初に最も差し迫った問題である。これらの変更は、より深い根本の問題であるため、ユーザーと既存のソフトウェアの広大な層のほとんどのからでさえも隠されるべきである。これは新しいですが、ほとんどは数年前に試み、使用されたことを可笑しいと思うかも知れないが、しかし商品化されておらず、時にはその当時に最新の利用可能な技術が不足していたために破棄される。

まぁ、そう、私はやがて大規模なシリアル速度の改善を達成することができる幾つかの根深い問題に対処すると信じますが、しかしそれらを使うために、メモリを参照し、使う新たな方法とこれが意味するすべてに対処しなければならないことを含め、幾つかの結論にすぐに達するだろう。非常に大規模な改善を達成するために、私が思うに、焦点は非常に少ない非常に基本的かつ根本を変える必要があり、そしてその後に過去20年間に渡って行われたすべての並列知識や改善を適用することである。今ここで、私は大きな問題かも知れないと思う。米国では、我々はその経路に固着されていても絶えず増大し続ける速度と多くのチップとコアを供給することが出来たチップとシステムベンダーに恵まれていたが、他の人が邪魔されず、高い意欲をもって、新しく異なる何かを行うことがもっと出来るかも知れない。

彼らは、別のルールセットの下で操作し、追加的な他の問題があるかも知れないが、彼らは既存のアイデア、企業、ハード設備と機器に同じくらい投資していない。そして、仕舞い込むかも知れないし、路線を変更するかも知れない。だから、私は現在の近視眼的な態度やローカルなリーダーシップを維持する「アメリカ人気質」の欠如が心配である。