世界のスーパーコンピュータとそれを動かす人々


12月 25, 2013

Lustre、HSMでビジネスクラスにアップグレード

HPCwire Japan

Nicole Hemsoth

Intelが支援しているLustreのコミュニティ向け主要版であるOpenSFSの最新版のリリースが発表された。最新版にはHPCの領域からさらに多様な利用者に向けての多くの機能が含まれている。

OpenSFSの会長であるGalen Shipman氏とのこのアップデイトに関する会話の中で、我々はLustreファイルシステムのコミュニティ向けリリース2.5版が、拡大するLustre企業ユーザーの要望と要件にどのように答えるのかについて話し合った。このリリースで追加された一連の機能の主たるものは、民間企業コミュニティからの要請に応えるべく用意された階層ストレージ管理(HSM )である。

Shipman氏は、「HPC以外の利用者がLustreをデータ・インテンシブなインフラのひとつのオプションとして考えることができるレベルまで、Lustreの技術的成熟度、障害耐久性および管理容易性は向上した。企業と伝統的なHPCはこれまで大規模HPCサイトに限られていた巨大データの課題に直面している。」と語った。「それらの課題とは、増加するデータの容量そしてスケーラブルなアルゴリズム(例えばHadoopやMPIの環境での走行)を利用して短時間でそれらの容量のデータを処理する必要性、しかし殆どの会社が持たないHPC専門家の組織抜きで、管理できるほどの安定性と使いやすさ、という要件である。」

彼はこのシフトの優れた例として、Oak Ridge National Labでの彼の仕事(彼のもう一つ役割はORNLの科学プロジェクト向けの計算機データ環境の責任者)を挙げた。ORNLは確かにHPC指向のセンターではあるが、Shipman氏が言うには、ORNLのチームはNFSの容量を超えてしまうようなHPCというよりは企業よりのビッグデータ向けワークロードのためにLustreを使っている。今日では管理が非常に簡単だという事実は、信頼性はもちろんのこと、鍵の一つである。

20131106-F1-2

Shipman氏は、次のようにも述べた。「彼らは企業と同様なワークロードにLustreを用いた。即ち、彼らはLustreからデータを必要とする時にいつでも手にする事が出来るという確信を持って、そういった貴重なファイルをLustreに格納した。それが最新のアップデイトで提供する注目すべき機能なのだ。」

Lustre2.5のコア1の機能強化であるHSMの追加は、Lustre利用者、特にその提供を求め続けてきた企業サイドの利用者に対する課題のひとつを解決するものだとShipman氏は述べている。

本質的には、この価値はLustreから直接もたらされている。このアップデイトにより、大規模テープ(あるいは他のNFSシステム)に存在するファイルがLustreの同一名前空間内で統合され、利用者はファイルが何処にあるのか(低価格のストレージ/テープ/高性能ストレージ)悩む必要が無くなった。Lustre利用者は同一名前空間上でに統合された方法で管理できるようになり、ユーザーには透過的な方法でLustreファイルから、例えばテープアーカイブまたは大規なNFSに自動的に移行されるようになった。利用者がそれらのファイルにアクセスすると、設定したポリシー(例えば二ヶ月でテープへ)に従って格納されている場所から直接Lustreファイルシステムに移動され、ファイルとしての新たなライフサイクルが始まる事になる。

Shipman氏は、HSMの追加は学界と民間の双方のエンドユーザーが集まり、新しい要件やニーズが共有される年次集会の直接的な成果であると述べた。これらの会議では、Lustreをアピールすべき諸々の機能要求を作り出してきた。Shipman氏は、これまでの改善はLustreの名前空間の拡張性やメタデータの性能に関する問題点に対する解決策を含んでいた、とも述べている。その修正は、ビッグデータ企業利用者向けに強固なソリューションを提供するDNE (分散名前空間 − OpenSFS出資のプロジェクトの一つ)に関するものであった。オンラインでのファイルシステムチェック含むその他の機能は、企業サイドの要求に答えてきたものだ。

しかしながらShipman氏は一日の終わりには、Lustreの多様な環境へ適用への本当のドライビングフォースはベンダーのエコシステムへのコミットメントであると述べた。追加された新機能は、OpenSFSのオープンソースからLustreベースのターンキーシステムを作成する多くのベンダーによりさらに強化され、その日の内に稼働できるようなシステムになる。それは、数年前にはLustreに興味ある人々にとっては遠いはるかな夢物語だった。
OpenSFSコミュニティが、単一クライアントの性能向上や様々な機能強化(メタデータの拡張性、データ複製、オンラインでのシステムチェックそして今回のHSM)の追加を追求するに伴い、民間セクターがLusterのどんな『輝き』に引き込まれようとしているのかを見るのは興味深いものがある。