「指輪物語」のレンダリングからアニメ制作HPCクラウドへ

Nicole Hemsoth

指輪物語(the Lord of the Rings: LOTR)シリーズの舞台裏で行ったような多くの驚くべきアニメーション作品について書かれているが、高性能システムのレンダリング能力無しには、どれも不可能だっただろう。それは全ての「スーパーコンピューティングセンター」と存続するチームの為にユニークなクラウドを構築し、HPCクラウド指向として特定されている数少ない企業のひとつ、Greenbuttonの創出につながったプロセスだ。

この音声インタビューの中で、HPCwire編集者のNicole Hemsothは、映画のために見事な視覚効果を推進したIT能力基盤を提供したWETA Digitalの元CIO、Scott Houstonと話をした。Scottは、現在この作品のスピンアウト企業、Greenbuttonの最高経営責任者(CEO)である。

HPCwire：Scott、LOTRフィルムのあなたの経験の多くについて、私たちは2011年のスーパーコンピューティング会議で意見を述べました。彼らが別のITソリューションを見ていた時、意思決定プロセスの一部は何であったか、背景にある判断力を私たちに説明していただけますか？

Houston：それは本当に私にとって興味深い旅でした。事実、2003年に遡り、当時クラウドは存在しなかったので、私たちは文字通り外に出て、ひとつの特定のショットのために1,000のプロセッサを購入しなければなりませんでした。それはペレンノール・フィールドの戦いです。私はまだそのショットを見るたび背中がゾクッとに震えます。それは実際に「王の帰還」の中程にあるショットで、それは14,000騎のローハン軍(騎馬戦士)と83,000のオーク軍が戦場で衝突する場面です。

そして、現実に、私たちは4つのデータセンターを持ち、クラスタ化された2,500のプロセッサがあったにもかかわらず、映画の制作の終盤のたったひとつのショットを終わらせるため、私たちは文字通り外に出て、別の1,000のプロセッサを購入し、真新しいデータセンターを構築しなければなりませんでした。私がより良い方法がなければならないと認識したのは2004年初め、2003年に戻って映画の終了時、その時でした。そして事実、その基盤は映画の終わりにはアイドル状態にありました。WETAでの次の制作は「キングコング」でしたので、私たちは本当に1,000プロセッサを余分なものにしてしまいました。

だから私は、ニュージーランド・スーパーコンピュータセンターと呼ばれる合弁企業を設立し、そしてその中のリソースの時間借しを始めました。私たちは、幾つかのバイオ技術の仕事をしたり、幾つかの地震波データ処理をしたり、映画「ハッピーフィート」のレンダリングを助けたりしました。しかし、問題は、私たちの一部のユーザについてでした。彼らは小さなジョブを実行したかったので、そのため「緑色のボタン」の起源が生まれたのは真さにそこです。私はクラウドがやってくる前に、需要に応じてこの能力を使用するプロセスを自動化する幾つかのソフトウェアを作成するために市場でのチャンスを窺いました。

そして、この閉鎖状況を終わらせる偉大で素晴らしい出来事は、現在、私たちがクラウド上で完全にレンダリングされた主要上映アニメーション(完全な長編映画)をレンダリングしているメキシコの会社と一緒に仕事していることです。だから、映画作りや大きな計算主導型プロジェクトをやっている将来のCIOやCTOは、将来的にその能力を外に出て行って買う必要がないかも知れません。

HPCwire：ニュージーランドスーパーコンピュータセンターの今の状況はどうですか？ あなたは、研究/科学のワークロードとエンターテイメント/メディアワークロードとのバランスをとって実行していますか？それはどこに立っているのでしょうか？

Houston：その環境は、2009年に閉鎖されました。そして私たちはそれ以来、クラウドだけでやって来ています。ですので今日、私たちはWindows Azure、Amazon、vCloudの環境の上でジョブを実行していて、最近では今年初めにOpen Stackのサポートを発表しました。

HPCwire：あなたは、AmazonとAzureの両方で最初からヘビーユーザになっていたと思いますが、これらのプラットフォーム間の長所と短所など、いくつかの違いがありますがどう思いますか？ Azureに対してのAmazon、そしてAmazonに対してのAzureで利点はどこにあるでしょうか？

Houston：いい質問ですね。私たちには顧客がおり、最近の数は77の異なる国だと思いますが、多くの場合、それはちょうど地理に帰結します。どこに最も近いデータセンターがあり、どのくらい余裕を持つことができるのか。ご存知のように 、そのデータセンターに到達するための回線の帯域幅はどうか。それで、それらの決定のいくつかは最も近いデータセンターがどこにあるかによって変わってきます。

処理の観点から、サポートの観点から検討し、殆ど常に技術的な決定をします。私たちはAmazonで実行するワークロードがあり、主にそれらのひとつはCloud Claritasと呼ぶ地震波データ処理のオンデマンドサービスです。それは、Amazonが10 Gigabit Ethernetをサポートしているためで、主にその上で実行されています。アプリケーションは、MPIベースです。そう、その決定も技術的な要件に基づいて行ってきました。

時々、それがメモリを必要とする場合があります。だから今は、Azure上に新たな大規模メモリのインスタンスを用意してあります。これらのワークロードの一部は、アマゾン上で実行され、そして一部はAzureへ移植されています。ProfitBricksと呼ばれるセットアップだけを行う会社があり、彼らはInfiniBandをサポートしています。今日の多くの他のクラウドプロバイダーがInfiniBandを持っていないので、私たちは、一部のワークロードをそこで実行するための検討を始めています。

あなたの質問に答えるためには、時には、顧客の地理的な場所に、そして技術的な性能についても、もしくはワークロードの要件についても、触れて行く必要があります。

HPCwire：もし、例えば、地震波データ処理の話をしていたとして、それは計算集約的だけでなく、データ集約的でもあります。あなたがパブリッククラウドのリソースを使う事に関して話をした時、私はデータの移動コストがかなり重要だろうと想像するのですが、どのようにそのバランスを取っていますか？

Houston：いい質問ですね。現実は・・・私がこれを言うには決まりが悪いのですが・・・大規模な３次元地震波データ処理を実行した時の20または30テラバイトの移動について話をすると、私たちは文字通り、依然ドライブを出荷しています。正直言うと、フェニックストラックのバンド幅に勝つ事ができません。

十分興味深いことに、私たちはCloud Syncと呼ぶクラウドファブリック製品のひとつを開発しました。これは、バックグラウンドでクラウドへデータ移動することが出来るダウンロード可能なツールです。私たちは、ちょうどUDPプロトコルを使用したFTP機能を追加し、それで一括アップロードを行います。私たちは、最近、いくつかのテストを行い、毎秒2.4ギガビット近い値を得ています。それは理論上の性能ですが、正しい環境のもと、顧客サイトからクラウドへの正しい接続により1時間以内にテラバイトのデータを移動することが技術的には可能であることを意味しています。おそらくそれは、画期的なものとして始まるかも知れません。

私たちは、データセンターでの増加したバンド幅を見始めていると思います　多くのクラウドデータセンターがあり、そして私はそれが克服されると思います。 今日か明日か、あるいは年内かではありませんが、しかし今後数年間で、私はバンド幅の問題が解決されるだろうと考えています。GreenButtonの全体のコンセプトは、デスクトップアプリケーション内から緑色のボタンをプッシュすることです。そしてジョブは実行を開始します。まあ、明らかに私たちはそこにデータを取得する必要がありますので、Cloud Syncは、あなたがボタンを押すと、願わくばファイルの全てがあるように、バックグラウンドでデータの同期を管理し、素早く同期を行うだけで、ジョブの実行が開始されます。

HPCwire：あなたが言及した問題は、誰もが取り組もうとしているものですが、それはかなりトリッキーなようですね。あなたが引用した理論上の性能は、かなり印象的です。いくつかのユースケースに基づいた実際の性能はどうですか？

Houston：まあ、私たちは今月末に製品を発表する予定です。それで、私たちはおそらく外に戻るでしょう。現実的には、それは明らかに顧客の使っているネットワークプロバイダーからデータセンターへの接続の種類に依存します。データセンターの多くは、太い回線を持っているので、実際に顧客からデータセンターへの性能に依存してくるでしょう。しかし、私たちはちょうど彼らの施設とそのクラウドプロバイダーとの間で専用回線を入れている会社と動き始めましたので、私は数ヶ月でいくつかの現実世界でのユースケースを持てるだろうと思います。

HPCwire：それは興味深いです。私たちは、そのために注視しておこうと思います。GreenButtonと言う会社について少し話しましょう。私は率直に思っている事を確認しますね。その会社は、HPCワークロードに特化したPaaS(Platform as a Service)の会社ですね。私は、今日、あなたがハイエンドの分析サービスに関する発表していたのを知っています。あなたが特別に提供しているアプリケーションやニーズの種類の観点で同社が焦点を絞っている事を説明していただけますか？　そして、何がGreenButtonをユニークかつ明確なHPC指向にしていますか？

Houston：多くの場合、それは私たちと話をしている人に依存します。私たちがこの成長段階にいると、HPCは魅力的ではありません。それは常に、勿論、私には魅力的でしたが、しかしそれは市場において取り立てて魅力的ではありません。その業界の成長は、特に投資可能ではありませんでした。そして、私たちはHPCの観衆がいる事を知ってます。しかし、私たちにとって興味深い事は、地震波解析、ゲノム検索、モンテカルロ、そしてCFDのレンダリングにだけ焦点を当てていないということです。私たちの一部の顧客・・・私たちがちょうど今日発表を行っていた・・・最大の顧客のひとつはソーシャルメディア空間です。ですので本当に私たちがGreenButtonで何を見ているかは、様々なタイプのワークロードですが、それは計算集約的である必要があります。

興味深いことに、私たちは、沢山の映像インデクシングの仕事をやっています。だから私たちは、1時間のビデオコンテンツを取り入れて、鍵となるアルゴリズムを使用して、そのビデオを処理し、インデックス付けを行っています。そして、それは伝統的なHPC型のワークロードではありませんが、大きな計算ワークロードです。そして、それはMicrosoftのMAVIS(Microsoft Audio Video Indexing Service)と呼ばれるアルゴリズムを使用して私たちが作ったinCusと呼ばれる製品です。ですので、伝統的なHPCだけはなく、私たちはソーシャルメディアの顧客を持ち、ビデオを処理し、勿論、映画をレンダリングし、地震波データ処理の仕事をやっていますが、私たちはまた、実行中のHadoopワークロードとGreenButtonクラウドファブリックエンジンを介したビッグデータ分析に一部の作業をつぎ込んでいます。ですので私たちにとって、単に特定の垂直市場ではなく、それは計算集約的、もしくはビッグデータ集約的な何かで、そのワークロードを得て、GreenButtonクラウドファブリック上でそれを実行し、そして任意のクラウドプラットフォームにそのワークロードを展開することができます。

HPCwire： HPCの定義は、研究や科学的な計算ワークロードを超えて拡大していると言う、そのコメント・・・それはデータ集約的/計算集約的な同化の一種としてますます一般的になってきています。しかし、クラウドコンピューティングにそれが来る時、特にパブリッククラウドのリソースを使用している場合、懸念は現実的に変わりません。彼らは、それが計算集約的であろうとデータ集約的でなかろうと、実際にはより激しくなります。 そこに性能ギャップがあり、そして高性能を必要とする人々は、現実的にそうしなければなりません。人々が使おうとしているクラウドサービスは何でも非常によく観察するべきと私は思います。何故なら彼らは仮想側(データ移動側)をかなりの大きな確率で利用しているためです。そこで、どのようにその仕事を通じて顧客を支援し、どのように前払い経費の大きな増大となるインフラの束だけを買うことについてROIを証明できるかです。

Houston：私は、それは継続的なプロセスだと思います。実際は、顧客はローカルサーバー環境でジョブを実行するでしょうから、早い段階で私たちは彼らと話をすることになるでしょう。その後、彼らはクラウド上でそれを実行することになり、そして続けます、それは実行に時間がかかります。しかし、それを否定することはありません。ひとつ、私たちはそこにデータを上げなくてはならず、そして彼ら自身のデータセンターで実行されている占有された環境のようなものは何もありません。

それは、私たちが彼らの基盤の中のクラウドプロバイダーから多額の投資がされているように見えると言いました。サイト上の高性能な専用環境から、サイト外でジョブを実行する際に同等の環境が存在する保証はないので、財務的見地からそれは本当に賢明なことです。私たちが話していることはワークロードの一種で、それで 「私はクラウドですべてを行いたいと思う」と言うのは、非常に勇敢なCIOであろうと思います。私は10年前からクラウドでやってきていますが、私が彼らの立場でそれを言うかは定かではありません。

現実的には、クラウドは長い時間がかかるか、極めて爆発的状況にあるかのどちらか特定のワークロードを担う事に多くの意味があるということです。それらはプロジェクトベースのみであり、そしてビジネスを拡大させるためにクラウドを利用します。 私は、IT管理者は実際に社内で実行するためのバンド幅や能力のどちらかを持っていないような非常に集約的なワークロードをサポートするためにクラウドを使用することを奨励します。そして、必ずしもすべてをクラウドで行うべきではないと思います。そんな人たちと話をしてみたいですが、私たちがすべてを包含したクラウドと最早データセンターを必要としない顧客から離れて本当にまだ数年だと思います。

その一例をあげると、幾つかの顧客は彼らの仕事をレンダリングするためにGreenButtonを使用しています。そして、私が言った映画全体をレンダリングするような顧客のひとつですが、顧客の殆どはレンダリングジョブの実行がしばしば数日掛かるような本当に難しいショットを持っています。そして、彼らはそれらのジョブを発注することが可能で、クラウド上のオフサイトでそれらを実行し、そして、小さなジョブや迅速なターンアラウンドが必要なジョブのためにより効率的に彼らのデータセンターを使用し続けます。

HPCwire：私たちが最初の頃に話した幾つかのユースケースに戻って、あなたはソーシャルメディア側において成長の多くが見られると言いましたが、分析側において、ビッグデータ(それは何でも含み、極めて大きい)、あなたは、クラウドが提供できる何らかの利点において計算集約的なワークロードのニーズのバランスを考える新興市場の一部であること。どこに今の本当に熱い成長はありますか？

Houston：それは両方の少しづつです。私たちは、公にこの顧客の話をすることはできませんが、フォーチュン500社の製造業顧客です。彼らは内部クラスタ上で3時間掛かる大規模なモンテカルロシミュレーションを持っています。私たちは、グリーンボタンクラウドファブリックを使用して、それらのワークロードを受けることが可能で、そして1,100プロセッサを稼働させて、10分以内でそのジョブを完了できます。そして、それは従来のHPCワークロードですし、私たちの100プロセッサを稼働し、ジョブを実行し、１０分間以内の応答時間を得ることは、この顧客にとっての現実的で迅速な変革です。

私たちは、生命工学、地震、レンダリング等の従来のHPCワークロードで大きな成長を確かに目にしています。私たちは、CFDのワークロードを見て始めています。私たちのドイツの顧客で、火災動力学シミュレーションを行っていて、伝統的なHPC MPIベースのワークロードで、彼らは、クラウド上でそれらのジョブを実行しています。

しかし、また、ビデオやソーシャルメディアの周囲に幾つかの本当に興味深いチャンスとも両立しています。今日、私たちのウェブサイト上に掲載されている記者発表には、Toutと呼ばれる会社があり、彼らは携帯電話を介して15秒のビデオの「つぶやき」(あなたが好きなら)を効果的に提供し、そして、彼らがどんな類いの話し、テーマ、アイデアは何で、ホットな話題は何なのか等の分析を顧客に提供するためにGreenButtonを使用しています。

したがって、 従来のHPCワークロードのバランスを保つ事は、計算集約的なものですが、従来のHPCとして見られていない、非常に多くの新しいワークロードです。

HPCwire：あなたが引用した製造業のようなケースにおいて、クラウドの価格設定はすでに多くのユーザにとって十分把握しづらいものですが、このレイヤー係数が価格設定に入り込んでいます。　どのようにあなたはこれを考え出したのですか？

Houston：いいニュースは、それがかなりメチャ安ということです。この特定のワークロードでは、ちょうどそれの経済性を考えて、もし、1,100プロセッサを稼働している場合、殆どのクラウドプロバイダーは、分単位で課金していて、私は10分単位で仕事を実行させたいです。なので、ジョブを実行するには20ドルまたは30ドルです。だから、応答時間を3時間から10分にし、そして、そのコストはジョブを実行するにあたり20ドルまたは30ドルとなります。そして、彼らはクラウドプロバイダーと交渉することになるでしょう。それは、投資やビジネスケースを作るにあたって、かなり魅力的なリターンです。

私は、処理がエンドユーザにとってめちゃくちゃ魅力的であるという点において、それはクラウドプロバイダーのためだと思います。エンドユーザは、彼らが特定のジョブに使用する計算処理とストレージのためだけに支払いを行います。それは、多くのお客様にとってますます魅力的になってきています。クラウドプロバイダーにとっての課題は、彼らがその資金をどのように作るかという事です。そして、もし、あなたがクラウドで何が起こっているか見てきたのなら、SaaS型アプリケーションの、もしくはホストしているウェブサイトの変革であり、そして、クラウドはその事に関していい意味を持つことをあなたは知っています。ますます組織は、オフサイトストレージのためにクラウドを使用し、そしてそれが理にかなっています。

それらのいずれも、クラウドプロバイダーにとって特に収益性はありません。クラウドプロバイダーのための本当のお金と利益は、オンデマンドな計算作業にあります。彼らの課題は、活用度合です。彼らはクラウドが完全に利用、あるいは80％が利用されていることを確保できれば、それは有益なビジネスですので、どのようにその利用率を維持するために十分な顧客を引き付けるかです。そして、あなたが顧客の視点からそれを行うことができれば、双方の勝ちです。私の時間の10または20または30％をクラウドに使うだけですから、それだけで理にかなっています。実際に私たちは、現在のクラウドの価格で今やっていることは分析であり、それでほぼ50％です。私はデータセンターを構築し、私のライセンスコストに応じて、その時間の50％未満で実行している場合、現在の価格モデルでクラウド上のこれらのジョブを実行するためには、安くなる可能性があります。だから、殆どのCIOやCFOは、現時点で検討していると確信していることは興味深い転換点です。

HPCwire：そうですね。ハイエンドな基盤内のすべてのものと同様に、それはすべてに依存します。

Houston：私は、その価格が魅力的であると主張したいとは思いません。最大の問題は、そして私たちが実際に焦点を当ててきた問題は、ガバナンスです。クラウド上でジョブを実行している誰もが、願わくば、彼らには良い経験あるということです。人々にとって本当に悪い経験は、経費ではありませんが、しかしどこにコストを定めるかということです。

もし、今日はクラウドプロバイダーから請求書を受け取った場合、それは電話の請求書のようなものであり、それがAmazonやMicrosoft、またはその他の誰であるかは問題ではありません。彼らはどのような部署で作業し、もしくはどのプロジェクトだったのか、あなたは、誰がジョブを走らせたか知り得ません。彼らはジョブを実行する権限を持っていましたか？　殆どの組織がクラウド上でジョブを実行し、会社のクレジットカードを使用していると私は確信しています。

だから、IT部門と財務部門は、それらのコストとユーザ、プロジェクト、部門へのその配分で論争します。それは絶対的な悪夢です。なので、ガバナンスを提供することを非常に厳しく取り組んできました。私たちについ最近承認された特許のひとつが、仕事をプロファイルし、時間とコストの中でSLAコミットメントを提供する当社の能力です。私たちは、それをユニークだと思いますし、私は画期的なことで、どのくらいの時間がかかり、幾らくらい費用が必要で、その後に本当に適正に部門、ユーザ、プロジェクトに配分されているか、クラウド内のより広範な利用のためにおそらく転換点になるだろうと思います。