オープンクラウドテストベッドがビッグデータの革新を推進

Tiffany Trader

マサチューセッツ州西部の町、ホールヨークで、Deval Patrick知事や産業界、政府と学術界の関係者がマサチューセッツオープンクラウド( MOC )プロジェクトとして知られる300万ドルの設備投資の公式発表のために一同に介した。官民イニシアチブは、州全体でビッグデータの研究者や先駆者のための仮想実験室として機能する新しいクラウドコンピューティング基盤を確立する。 MOCプロジェクトの最初の目的の1つは、このオープンクラウド環境内でのHPCアプリケーション操作の実現可能性を研究することである。

MOCは、共同研究やテストベッドとして開始されたにもかかわらず、究極の目標はそれが独立した非営利事業体になることである。自立運用のためにプロトタイプから生産まで発展するようにその方向に導くことは、学術界や産業界、政府、非営利メンバーの混成した広範囲な利害関係者となる。資金調達の初期の300万ドルは、連邦と産業、慈善的な資金源の混合から成るマッチングファンドの内の別の1600万ドルともにマサチューセッツ技術共同マッチング助成アワードの下、マサチューセッツ連邦により提供されている。

OpenStackフレームワークを使用して実装されるクラウドのための物理資源は、ボストン大学(BU)とハーバード大学、マサチューセッツ工科大学(MIT)、ノースイースタン大学、マサチューセッツ大学(Umass)によって2012年にマサチューセッツ州ホールヨークに作られたデータセンター、マサチューセッツグリーンハイパフォーマンスコンピューティングセンター(MGHPCC)内に収容される。 9万平方フィート、10メガワットの施設は、マサチューセッツ州ホールヨークの市役所からわずか数ブロックにある8.6エーカーの旧工場用地に位置している。

また5つの助成対象大学は、マサチューセッツグリーンハイパフォーマンス計算センター(MGHPCC)とオークリッジ国立研究所(ORNL)と一緒に主要なMOCパートナーである。ボストン大学のHaririコンピュータ&計算科学工学研究所は、運営リーダーシップをハーバード大学から、開発リーダーシップはノースイースタン大学から、コミュニティーの構築はマサチューセッツ工科大学(MIT)から導入してプロジェクトを指導し、そして関連研究は全5大学の知識範囲の元に属している。

イニシアチブは、「Open Cloud eXchang」モデルに基づいており、ハードウェア、ソフトウェア、および他のサービスは、既存のプロバイダから新興のイノベーターに至るまで多くの参加者によって供給と購入、転売を行うことが出来る。 AmazonやGoogleなどのベンダーの人気のパブリッククラウドと同様に、 MOCは、大規模なオフサイトの計算資源へのアクセスを提供するが、彼らのような独自のクラウドとは異なり、MOCはクラウドコンピューティングの設計および運用にオープンでカスタマイズ可能なアプローチを採用し、技術のすべてが単一のプロバイダによって制御されているものでは無い。

技術革新に拍車をかけるように設計されたプログラムは、それ自体が最先端になることに意味がある。「MOCは、このモデルの最初の実現になるでしょう。」とHariri研究所のクラウドコンピューティングイニシアチブのディレクターでボストン大学の芸術科学院の研究教授でもあるOrran Kriegerは報告する。「もし、それが成功するのなら、私たちはクラウドコンピューティングの性質を基本的に変え、他のクラウドが私たちのモデルを追随することを期待します。」

Kriegerと同僚のボストン大学の研究者、Azer Bestavrosは、モデルを設計することに尽力し、それが結実することを信じている。

「オープンクラウドエクスチェンジ(OCX)は、むしろ単一プロバイダよりも多くの利害関係者がクラウドを実装し、運用するために参加する公的なクラウド市場として認識されています。このエコシステムは、より広範な研究者や産業界のコミュニティからの革新を可能にし、結果的に、はるかに健康的で、より効率的なクラウド市場となると思われます。」と両名は最近の論文で書いている。

彼らは、閉じられたクラウドが革新を抑え、一方でオープンクラウドが革新を促進するという事実を言う。オープンソースソフトウェアと比較して、著者は、オープンクラウドがセキュリティも強化すると確信している。

「シングルプロバイダモデルは、クラウドプロバイダの提供に強い均質性を結果的にもたらします。」と彼らは書いている。「これは、研究を制限するだけでなく、セキュリティ上の脅威の影響を受けやすいモノカルチャーにもなります。パブリッククラウドは、クラウド運用者が基本的に信頼されていることを想定して設計されているため、セキュリティ上の懸念もまた生じます。文書化されていない技術やポリシーは、顧客のネットワークトラフィック、コンピュータ、さらには個人的なデータセットでさえ覗き見ることから、クラウドプロバイダーあるいは不満を抱いた従業員を維持します。私たちは、オープンクラウドがオープンソースソフトウェア開発が持っているのと同じ長期認識セキュリティ上の利点の多くを提供することが出来ると強調します。 」

プロジェクトのウェブサイトによると、 MOCは2つの包括的な目標がある：

• 連邦におけるクラウドとビッグデータの利用者のために改良されたコンピューティング資源を作る。
• クラウドとビッグデータの分野で革新し、利益を得るための研究と技術企業を可能にするクラウドコンピューティングの新しいモデルを作成する。

主要なタスクとマイルストーンは、3つの主要なカテゴリに分類されている：

• 技術パートナーと本格的なクラウドサービスを構築し、運用し、そして維持すること。
• 共有クラウドに参加する複数の競合プロバイダを可能とするためにOpenStackを強化する。
• 新たなワークロードとユーザーがクラウドを活用することを可能にするために幅広く産業界と学術界と協力。

MOCプロジェクトは、既に強力な業界サポートを喜んでいる。Cisco、DataDirect Networks、EMC、SGI 、Red Hat、Juniper Networks、Canonical、Dell、Intel、 Mellanox、Brocade、MathWorks 、Plexxi 、Cambridge Computer Services、Enterprise DBとRiverbedが創立ベンダーパートナーとして含まれる。

プロジェクトにおけるDDNの役割は、低遅延なオブジェクトストレージサービスを可能とするWeb Object Scaler(WOS)ソフトウェアに貢献することである。 DDNの最高技術責任者、Jean-Luc Chatelaiは、WOSクラウドへの最初のインタフェースはOpenStack APIを介するが、同社は大規模環境での複数のインタフェースと構成をテストできることを期待していると言う。 (同社によると、WOSは最大32兆のオブジェクトを収容することが出来る。) HPCwireとのインタビューの中で、DDNのチーフサイエンティスト、Dave Fellingerは共同作業を可能にするためにフェデレーテッド環境でのデータ管理の重要性を強調した。 MOCプロジェクトは、他のデータセンターとのフェデレーションの長期的な目標を持っており、 DDNのWOSプラットフォームは、サーバやほかの外部管理機器を介さずに、このサービスを有効にするために設計されている。

Fellingerがさらに説明するように、 WOSはデータレプリケーションとデータリカバリーの効率的な手段となるように設計された。ソフトウェアは、ストレージクラスタ全体に渡って動作する各ストレージノードデーモン上に確立し、ピア•ツー•ピアを基礎にデータを追跡し、復元します。もし、ディスクドライブに障害が発生した場合、ノードはオブジェクトを回収し、任意のサーバーの関与なしに自動的に置き換える。

SGIは、マサチューセッツオープンクラウドプロジェクトに協力することを嬉しく思っているもうひとつの会社である。 「 SGIの計算基盤は、HPCとビッグデータの接点に位置するワークフローを処理するために専用化されています- 高性能データ解析は、学術や商業の設定の両方でデータ科学者にとっての成長分野であり、私たちはこれらの分野でのリーダーシップ活動でマサチューセッツの成長を支援することを誇りに思っています。」とSGIの社長兼CEO、Jorge Titingerは言う。 「このコラボレーションの結果としてSGIは、現実的なビッグデータの革新への道を切り開いて、非常に大規模で継続的な動的データセットから例外的な洞察を抽出する科学、知識発見でもさらなる発展に貢献することを期待しています。 」

Patrick知事はまた、政策立案者のための戦略的な助言を提供し、ビッグデータ業界における革新と成長の機会を識別し、概説する2014年のマサチューセッツビッグデータレポートの公表を発表した。レポートの調査結果によると、世界的なビッグデータ市場は2012年の116億ドルから上昇し、2017年までに480億ドルに達すると予測している。ハードウェアやサービスは、収入の最大のシェアを占めるため継続すると予想され、しかし報告書によると、最も急速に成長している部門はビッグデータ対応アプリケーションである可能性が高い。マサチューセッツ州では、ビッグデータアプリケーションは、ヘルスケア、ライフサイエンス、金融サービス分野で特に代表的なものであり、地元の企業が今後12ヶ月の間にこれらの分野に関連する3000以上の仕事を満たすために人を求めている。

「マサチューセッツオープンクラウドへの投資は、先進的なクラウド•コンピューティング•ソリューションを構築するイノベーターのために機会を拡大し、全国的なビッグデータ研究の最前線に私たちの連邦を保つのを支援するでしょう。」とマサチューセッツ技術共同のCEO、Pamela Goldbergは述べている。 「 2014年のマサチューセッツビッグデータ報告書で引用したように、私たちは技術革新と支援を受けている産業界の成長を促進するためには、マサチューセッツオープンクラウドのような分野横断の共同事業を開発し続けなければなりません。」