シミュレーションの複雑性を解く

David Lourerio

HPCは、1960年代から核物理学、地球科学、気象学等の重要な問題の解決を支援してきたにもかかわらず、HPCは伝統的に唯一専門家のために存在していた。しかし、x86サーバ、大規模なストレージシステム、とハイエンドなネットワーク技術の民主化とともに、企業や研究機関は、現在、非常に強力で複雑な技術、合理的な比率(電力/コスト)でクラスタを購入したり、もしくはリモートのHPCクラウドプラットフォームへのアクセスすることができる。

しかし、リソースが利用可能であるにもかかわらず、広範な利用は、アクセスと使用リソースおよび/または依然存在する既存のHPCソフトウェアとハードウェアを適合させることの難しさのために制限されている。90年代を振り返ると、研究者はこれらのハードルに慣れるために時間を費やすことができたが、今日のビジネスの投資対効果は、はるかに短い時間で結果を生み出すためにエンジニアや研究者を動かしている。その結果、HPCへのアクセスと操作性のハードルを克服することが重要になっており、これは、大規模なプラットフォームの殆どのユーザが、HPCの利用やプログラミングの専門家ではないという事実によってますます悪化している。

この記事では、中小企業(SMB)が中規模クラスタのリソースに容易にアクセスし、複合的なHPCリソース上の複雑なアプリケーションを使用できるように、可能な限りシンプルかつ透過的なツールとなるHPCの必要性に取り組むものである。莫大な財政支出無くこれを達成するために、エンドユーザが自分のデスクトップから直接アプリケーションやデータのシミュレーションを実行し、制御する必要がある。

小規模ビジネスのためのHPCの挑戦

研究開発ラボや大企業は大規模なコンピューティング基盤にアクセスし、活用することが出来る可能性があるが、中小企業や専用のコンピューティングリソースやHPCの専門家を持たない大企業内の小さな事業ユニットは、増加するデータの量や複雑さに直ぐに対処しなければならない。これらの小さなグループは、HPCを可能にする優位性を放棄する余裕は無く、中規模クラスタが提供する処理能力と機能にアクセスする方法が必要である。エンドユーザのデスクトップ上でフルにアクセス可能な中規模計算クラスタ上で動作するシミュレーションを表す、容易に利用可能な「スーパーアプリケーション」についてのこの必要性は、フロリダ大学のリサーチコンピューティングのディレクター、Erik Deumen博士の論文「何がHPCの真ん中で投資を動かすのか？」の中で最初に言及された。

国際的な規模において、一部の国では、様々なリソースを通じてこの問題に対処しようとしてきた。フランスでは、INRIA、BPI(フランス公共投資銀行)、およびGENCIが、中小企業のためにHPCリソースの動作するシミュレーションソフトウェアを可能にするため知識、資金と計算リソースを提供することを目的としたイニシアチブ、「Initiative HPC-PME」(http://www.initiative-hpc-pme.org/)を立ち上げた。フランスの中小企業、Free Field Technologiesは、このプログラムに参加し、ここでの証言では、彼らは、HPCのシミュレーション時間の改善が顧客としてのAirbusに彼らが勝つことにどのように役立ったかを示している。

ヨーロッパでは、「Fortissimo」(http://www.fortissimo-project.eu/index.html)が2013年10月に発表された。このイニシアチブでは、中小企業が研究所やコンピューティング施設のリソースへのHPC計算利益へのアクセスを必要とする。例えばPipistrelのような中小企業は、彼らの軽量な航空機の設計シミュレーションを改善するために、これらのHPC施設を使用している。

シリコンバレーでは、Burak YenierとWolfgang Gentzschによって設立されたÜberCloud(http://www.theubercloud.com/hpc-experiment/)がSaaS(Software-as-a-Service)モデルがHPCシミュレーションのためにどのように使用できるかを示すために立ち上げられた。幾つかの大企業、ソフトウェアプロバイダ、およびコンピューティング施設は今、これらの技術を実装している。

• 米国を拠点とする企業CSEが関与する「燃焼システム内のブローオフ高分解能コンピュータシミュレーション」。
• カナダを拠点とする企業、Binkzような中小企業がエンドユーザだった「任意の構成物周りの地吹雪」。
• Polyclone Bioservicesと呼ばれるインドの中小企業での「酵素基質をシミュレートするためのGROMACS分子動力学の性能解析」と次のものは、それに関するユースケース、または周辺のユースケースを伴う生物学の分野が先週発表された。

時計の針を進める

これらの進歩は、これらのイニシアチブのいくつかによって実行されてきたが、多くのユーザへの広範な規模のアクセスを提供するために、さらなる解決策を取る必要がある。何が必要かを理解するために、これらのユーザが共通して持っているものを最初に見てみよう。

すべてこれら異なるタイプのユーザは、彼らのデータをアップロードし、(大規模な)非会話型シミュレーションを起動し、そしてそれらのポストプロセスを行う必要がある。このワークフローは、ビジネスもしくは研究を中心とする可能性があるが、両方のコミュニティのため、より良い結果をより速く得るために極めて現実的な必要性がある。その計算がGPU、ファットノード、またはその目的のために特別に設計された超奇抜なミドルウェアを使うことを必要とする時、この必要性は知ることよりもはるかに重要である。

これらすべてのタスクの前提は、アプリケーションへのアクセスである。 SaaS(Software-as-a-Service)モデルが、この目標に適合する。我々が電子メールや訪問したWebサイトをチェックするために日々使用するブラウザを通して、複雑でリソースを必要とするアプリケーションで作業することができる。

中小企業のニーズをHPCからどの障壁を排除するのか？

非技術的なユーザーが直接ハイブリッドなリソースにアクセスできる構造を作り出す能力が不可欠である。ここでは、中小企業が簡単にそれらへのアクセスを得ることを可能にするWebポータルの特性を探る。

簡略化されたユニバーサルアクセス ー バンド幅に対応するために、インタフェースは可能な限り軽量でなくてはならない：ブラウザプラグイン不要で、Javaアプレットも必要無く、flashのサポートまたはポート開放の必要も無い。これらの依存関係のすべてを取り去ることにより、インタフェースは「シンプル」になる ー オペレーティングシステムに関係無く、研究者のスマートフォン、デスクトップ、またはタブレットがインタフェースとなる。

この簡略化されたインタフェースは、クラスタコンピューティング上で遠隔的に実行されているHPCシミュレーションソフトウェアにアクセスするSaaSモデルのために必要な基盤を作成する。図1は、最新のHTML/ CSS / JavaScriptフレームワークのおかげで様々な端末に適応することが可能なインタフェースの例を表している。このフレームワークは、作業を始める必要のあるユーザニーズの基本的な情報へのアクセスを提供する: 彼の現在のプロジェクト、過去の仕事など、どこからでも。

図1 ユーザのプロジェクトと以前の作業へのアクセスを提供するインタフェースの例

セキュアなアクセス ー 中小企業もまた安全なアクセスを必要としている。何を使うべきかに関する多くの議論がなされている ー X.509証明書、ログインとパスワード、SSHの公開鍵と秘密鍵。事実、セキュリティを実現する標準的な方法は無い。それは人が設定したい方針に大きく依存する。

クラスタ内では、これらの方法のいずれかを使用することができる。しかし、ユーザの観点から、そのプロセスは、その下のすべてのセキュリティ•システムを管理するために少なくともログイン名とパスワードを統一しなくてはならない。これを行うことにより、インタフェースはエンドユーザにとっての障壁を低減する。

そして、転送は、例えば、競合他社に拡散することが無いことを確保するために当然のことながら、暗号化しなくてはならない。

よく知られているファイル構造 ー データをアップロードするか、HPCコンピューティング施設を扱う時、ユーザーはWindowsやFTPクライアントの古典的なファイルマネージャのような、彼らの習慣を変えない馴染みのものを必要とする。この保証によって、ユーザは、ファイルを準備するために過剰な時間を割くこと無く、膨大な量のデータを処理でき、その後結果をポスト処理できる。

リモート可視化 – 今日、コンピューティング施設は、コンピューティングおよびグラフィックリソースの両方を提供している。非対話型の計算が実行でき、その後同じサイト上でのグラフィカルなポスト処理が出来ることは、エンドユーザにとって大きな改善である。ワークフローインタフェースが、計算からポスト処理の中へよどみなく実行される場合、ユーザは、もはやビデオストリームを転送するために現地まで行って、管理者の邪魔をする事は無い。その代わりに、彼らはいかなる追加要件なしにシミュレーションからグラフィカルなポスト処理までを橋渡しする同じインタフェースからリモートデスクトップ技術を使用することができる。

以前の機能、例えば簡略化されたデータ転送、と連結して、入力シミュレーションデータの準備と処理、ポスト処理からなる従来のワークフローを劇的に削減した時間枠内で実行することができる。

図2 ユーザーがコンピューティングリソースとの間での転送を可能にしているファイル管理インターフェース

単純化されたグラフィカルインタフェース ー 自前のスクリプト、独自のコード、Webポータル等のアプリケーションにアクセスするために多くの方法がある一方、インタフェースはユーザに固有のパラメータを定義したり、彼らが求める出力に応じてスクリプトを変更する方法を提供する必要がある。Webポータルにアクセスするために多くの方法がある。このアプリケーションの管理は、可能な限りシンプルで、最小限の時間で済むようにする必要がある。

様々な種類のインタフェースを定義するためにXMLファイルを使用するというアイディアは、しばらくの間、流行したが、しかしこのようなインタフェースは生産的ではなかったため、単なる誇大広告としてすぐに認識された。その代わりに、必要なことは、エンドユーザが彼らのアプリケーションを実行するスクリプトと向き合うために使用するインタフェースを設計する方法を備えたグラフィカルなツールである。

グラフィカルインタフェースへのアクセスを設計する際に、スクリプトと基本的な経路へのフルアクセスを提供することをやり過ぎるのは簡単だが、システムの複雑さが増す。よく定義された柔軟な権限管理が提供されなければならない。スクリプトを開発したユーザだけが、追加、更新、およびアプリケーションを修正することを許可されるべきであり、管理者だけが使用状況レポートやユーザ管理等にアクセスすることができる必要がある。

合理化 – 図3に示すように、アプリケーションの統合は、実行するスクリプト、多くのドキュメント、そしてユーザが提供しなくてはならないパラメータの入力を定義することよりも複雑過ぎてはならない。アプリケーションの使用を指示する特定のフォームは、エンドユーザのためにその時起動することができる。この効率性は、彼らのタスク ー 良好な入力データによるシミュレーションの実行 ー の中で最も重要な部分にユーザを集中させることを助ける。

図3 非対話型アプリケーション用の送信フォームを設計するための簡単な方法を提供するWebインタフェース

ユーザ課金 ー 一旦、フレームワークがデータやアプリケーションへのアクセスと、これらをグローバルな、簡単に使用できるワークフローにリンクすると、リソースを監視する必要が生じる。また、コストセンターに費やされた時間を容易に割り当てる必要性がある。計算時間が、特定のコンピューティング施設間で分割されるか、もしくは会社内の事業ユニットへ割り当てられるかのいずれかでは、明確かつ正確な会計がアプリケーションやリソースへのアクセスを持っていた企業は、必見の詳細に事業単位に配分されているかどうか。

利用状況レポートはまた、請求書作成のための会計パッケージへのインタフェース、もしくは既存のクォータシステムに統合するデジタル形式で利用できるようにする必要がある。図4は、現在の課金とリソースの監視と請求書と納品書の基礎となっているアプリケーションの使用状況のインタフェースを示す。

図4 異なるクラスタ上のプロジェクトの消費量を示す利用統計

HPCの民主化

それは、中小企業の従業員が、HPCシミュレーションへのアクセスを増やすことを改善し、単純化するこれらのタイプを介することである。強力で複雑なリソースへのこのような単純インタフェースで、事業は、生産性を高め、はるかに短い時間で自分のハイエンドな計算作業を効率的に行うことができるようになる。

ゲームからHPCの複雑さを取り除き、中小企業のためのデータ分析とシミュレーションを効率化し、最大の生産性を確保し、競争力を高める。

著者について

David Loureiroは、高性能コンピューティング(HPC)環境の管理と利便性を簡素化するソフトウェア革新者であるSysFeraのCEO兼共同創設者である。Davidは、応用数学の理学修士号を取得し、Avalonと呼ばれるINRIA研究チーム内の分散グリッドとクラウドミドルウェアについて取り組むことでINRIAでの彼のキャリアをスタートさせた。彼の研究の興味は、クラウド技術、HPCリソース管理、分散コンピューティングと科学的可視化Webポータルに焦点を当てている。