Cycle Computing、Googleクラウドでガン研究を統合

Tiffany Trader

HPCクラウドソフトウェアのスペシャリストであるCycle Computing社は全製品について、Googleのクラウドプラットフォーム上でクラスタを稼働させるのに利用できるようになったと発表した。新しいパートナーシップの証として、Cycle社は、ブロード研究所の50,000コアのガン遺伝子解析のワークロードを実行するためにGoogle Compute Engine (GCE)を活用した。

Cycle Computing社が説明するように、ブロードのガングループが非常に複雑なゲノム解析を行う必要があって彼らを訪ねてきたのだ。研究者らはすでに強力な処理システムを社内に持っていたが、解析の実行は数ヶ月かかり、さらに調整が必要だった。

ガン研究を促進するために、新しく発売されたGCE上の「割込可能仮想マシン」インスタンスを利用することに決めた。割込可能VMは、競合であるAmazonのスポットインスタンスに対するGoogleの答えだった。割込可能インスタンスは彼らのオンデマンド対応製品よりも60 から70パーセント安い。売りは、Compute Engineがこれらのインスタンスをいつでも終了(割込)させることができ、利用可能数に限りがあることだ。

「割込フレンドリー」(別名耐故障性)なアプリケーションにとって、割込可能VMは素敵な割引であり、Cycle社が説明するように、ソフトウェアが耐故障性を処理し、「いかなるスケールでのクラスタ化されたアプリケーション」の統合を可能とする。

古典的な「ビッグコンピュート」ジョブやバッチ処理ジョブの両方ともが割込可能インスタンスで実行可能だ。処理中にインストランスが終了した場合には、ジョブは遅くはなるが完全に停止はしない。

Cycle社は次のアプリケーションが割込可能VMのメリットを享受できると期待している:

• 計算化学
• 干草の中で針を探すようなシミュレーション
• 金融価格付け、バックテスト、モデリング
• ゲノミクス、バイオインフォマティクス、プロテオミクス
• 保険リスク管理
• レンダリング、メディアエンコーディング
• Hadoop、Spark、Redis、他IoT処理フレームワーク

ユーティリティスケールのコンピューティングへのアクセスを大きくしていくことが常にCycle Computing社の主要なミッションであった。同社はこれまでAmazonのクラウド・サイクルにのみ依存してきたが、パートナー・エコシステムを拡大することで、さらに顧客ニーズにマッチして満足できるようになる。ブロード研究所とGoogleがすでに生物医学研究を容易にし、推進する新しいツールの開発の共同研究を行っていることを思い起こしてみよう。そしてこの6月に、ブロード研究所のゲノム解析ToolkitまたはGATKがGoogleゲノミクスの一部として、Googleのクラウドプラットフォームで利用可能となっている。

Cycle社のCEOであるJason Stoweは、Cycle社はベンダーを推奨するわけではなく、引用されたアプリケーションがまたAWSスポット・インスタンスに非常に良く適しているのだと語った。「私どもは企業が異なるインフラ上でワークロードをベンチマークできるようにするツールを提供しており、運用品質で実行することができます。私どもは選択決定をさせません。お客様にオプションをお教えして、そして、お客様に従います。」

一般的に、「スループット指向のステートレスなワークロードはこのタイプのインフラ上で非常に良く動く傾向があり、Google GCEの割込可能VMやAWSのスポットインスタンスの両方で間違いなく実行できるでしょう。」と彼は語った。コスト上のメリットは大きくなる可能性があるのだ。

ブロード研究所の癌プログラムは、遺伝子変異、遺伝子発現、および分子間相互作用に関する情報を持った数百の癌細胞株に関係するデータセットを持っている。データの各レベルはそれ自体が巨大であるが、これらの層の間に隠された接続をあばくには総合的な分析を必要とする。これらの関係は、将来の研究への努力に向けた癌プログラムへの道標となるのだ。

ブロード研究所の科学的ワークロードの規模は、演算能力の限界を考慮せずに研究者に「大きな質問」を尋ねるように奮起させることを誇る企業であるCycle社にとっては不明であった。Cycle社が述べるように、利用可能なローカルリソースに制限されている場合、前に進むことができないリストを持ったプロジェクトであった。

「これらの分析のタイプは、癌研究のような疾患研究のブレークスルーにつながる可能性のある手がかりを提供し、この種のクラウド・ベースのインフラは、途上に立つローカルコンピューティングの障壁を取り除くことを助けてくれるのです。」とブロード研究所の情報技術のディレクター代理のChris Dwanは語った。「柔軟な処理能力で、私たちははるかに大きな規模で考えることができるようになるのです。」

このマップを明らかにすることは、計算集約型の機械学習アルゴリズムを必要とし、ブロード毛急所のオンプレミスのシステムでも実行に数ヶ月かかるのだ。研究者らはすでにワークロードを既存のクラウドベースのStarClusterフレームワーク上で実行できるようにセットアップしており、課題はこれをGoogleで動かすことだった。

Cycle社は独自のCycleCloudをGoogle Cloudプラットフォームに接続し、ワークロードの配置、データスケジュール、およびスケールコンピューティング機能がGoogleでも利用可能なことを確実にしたのだ。Cycle社の自動化・統合化ツールと同様にクラスタ・コンテイナーを使って90分で中程度のスケールでジョブを稼働させることができた、同社は語っている。

「CycleCloudへの移植プロセスは完了するのが非常に簡単でした。Googleの機能は分単位の課金で時間課金の使用の最適化を心配する必要がなく、いくつかの既存コードを簡素化することさえできたのです。」とCycle Computing社の最高技術責任者であるRob Futrickは語った。

アプリケーションが約50,000コアでスイートスポットにヒットするのを見つけたので、Cycle社はクラスタを自動スケールで、n1-highmemとn1-standardタイプを混合して使用する3,210個の16コアインスタンスを必要とする51,200コアにセットした。単一サーバよりも安くプロビジョンすることで、このペタスケール・クラスタはブロード研究所の癌グループが午後一杯でワークロードのマッピングを完了できるようにしたのだ。そしてそれは起きるように、いくつかのインスタンスは割込されたが、CycleCloudは自動的にクラスタのノードを再構成したので、ジョブは継続した。

約6時間の計算後、ブロード研究所のマップが完成した。解析とキュレーションは発見された関係の全範囲を明らかにするだろう。