インメモリの外れでサイエンス

Nicole Hemsoth

インメモリ・コンピューティングは、商用の「ビッグデータ」サークルで議論が活発な話題となっているが、複雑な計算化学の需要に対処する能力を示す最近のユースケースでは、科学技術計算におけるその可能性を強調している。

今日、GridGain Systemsは、ポートランド州立大学が疾患を検知し、医療診断を行い、生きた細胞内に埋め込むことが可能な生体適合性のあるコンピュータに基づいて治療の助言を提供することが可能な適応学習システムを構築する試行の中でインメモリHPCをどのように利用したかについて詳細な説明を行った。

どのようにその技術が高性能コンピューティング・アプリケーションの広い分野に適合するか強調するため、我々はその会社の製品管理担当副社長、Jon Websterに話を聞いた。インメモリ・コンピューティングへのこのアプローチが商業分野で喧伝されているものとどのように異なるのか補足することに加えて、それが科学的なシミュレーションのための大規模なデータセットを処理する他のモードとどう比較するのか、そして、彼らの問題により多くのハードウェアを次々と単純に投入出来るようなユーザーにROIの感覚がどのように届くのか聞いた。

HPCアプリケーションのためのインメモリに対するGridGainのアプローチは、他の「インメモリ」企業の幾つかが提供しているものと多少異なる。実際に、彼らは、性能重視のより商業側からのもう一つの重要な動きに注意を払う人のために、殆どHadoop/MapReduceのように聞こえる「リアルタイム高性能分散計算フレームワーク」としてこの製品を名付けている。

ふたつは異なっている、とGridGainは言い、「HadoopのMapReduceのタスクがディスクからの入力を得る場合、ディスクに中間結果を生成し、それからディスク上へその結果を出力するが、GridGainでは、Hadoopの全ての事がメモリ内で行われる。言い換えれば、ダイレクトAPIコールを介してメモリから入力を得て、メモリ内に中間結果を生成した後、同様に、メモリ内に結果が作成されます。」と注釈した。

言い換えれば、それが主流側の数多くのベンダーがインメモリと言う言葉を使用した時の話をしているのであって、ストレージについてではない、とWebsterは言う。現在のアプローチは、複雑なワークロードを取り扱うのに十分でなくて、少なくともHPCワークロードのため、GridGainが提供することを必要とする、と彼は言い、主張する。そして、あなたの記憶の中にあなたのすべてのデータがあるように、大きく分割されたメモリ内のデータベース（彼らへ提供するもう一つの構成要素）全体に特注の計算エンジンを実際は埋め込んでいる。本質的には、データを獲得して、それを処理し、それを戻す代わりに、データの移動が最小化できるように、ユーザーが局所性を考慮して、それを処理することを可能にする。

GridGainのフレームワークは、HPC顧客のベースを広げるのに役立つ他の一般的なHPC指向モデルのサポート（MPP、MPIおよびRPC）を提供しながらも、MapReduceの処理を含め、異なる実行モードをサポートすることを目指している。

彼らは、高速取引マッチングやリスク管理のための金融市場でそれを使用することを含め、このアプローチにより他の多くのHPC指向なユーザーに供給することができる。大規模なスケールで立証されている技術の「フィルタリング・ダウン」を表すオンラインゲームやリアルタイム広告ターゲティングのような従来のHPCで常に検討されてきた他の産業は、範囲外に落ちる傾向にある。

上記のインタビューの中で分かるように、このアプローチは、ポートランド州立大学の研究者が、現在の基盤で以前は不可能だったものを可能にした。Websterは、他のHPCアプリケーションのためにインメモリがどんな意味をもつのか、そして他のハードウェアおよびソフトウェア・アーキテクチャとフレームワークが発展できるデータ集約型ワークロードへどうやってアプローチするのかについて詳細に説明する。