FhGFS、HPCクラスタのスケーラビリティと柔軟性のための設計

Alex Woodie

ドイツの研究者はHPCクラスタのための全く新たな並列ファ イルシステムを作るためにおよそ10年前に机の前に座った時、彼らは、次の3つの目標、最高のスケーラビリティ、最大限の柔軟性、および使いやすさ、を持っていた。 彼らが何を思いついたと言うと、現在、スーパーコンピュータ上で使用中であるFraunhofer Parallel File System(FhGFS)であった。

FhGFSの初期設計における考慮事項と内部の仕組みは、ClusterMonkey誌上でフラウンホーファー産業数学研究所（ITWM）の研究者、トビアス・ゲッツによるファイルシステムに関する記事で説明されている。

現在はカリフォルニア州バークレーに住み仕事をしているゲッツは、ITWMの研究者は、既存の並列ファイルシステムの限界に不満を持っていると述べている。 「もっと良い方法があるはずだ！」がITWMのコンピテンスセンター・ハイパフォーマンスコンピューティング・センター(CC-HPC)のヘッド、フランツ・ヨセフ・フランツが率いるグループのスローガンであった。

フランツのチームは、 「メタデータを分散化し、任意のカーネルパッチを必要とせず、InifiniBandを含み様々なインターコネクトをサポートし、そして簡単にインストールでき管理できる、スケーラブルなマルチスレッドアーキテクチャ」を使用して理想的なファイルシステムを創造するためにスクラッチから始めたとゲッツは記している。

分散型メタデータ・アーキテクチャは、FhGHSの主要な構成要素であり、FhGHSはHPCアプリケーションに備えて設計された高レベルの拡張性と柔軟性に寄与する。 “メタデータは、ディレクトリー・レベルで各メタデータサーバ上に分散され、各サーバは完全なファイルシステム・ツリーの一部を保存しています。このアプローチは、データに対して非常に高速なアクセスを実現しています。”と彼は書いている。

ゲッツの論文によると、同様にストレージ·システムは、 「チャンク」に記憶内容を分配し、ストライピング技法を用いて複数のストレージサーバに横断して分散している。 チャンクのサイズは、ファイルシステム管理者によって定義することができる。

FhGHSでは、ファイルとメタデータサーバのための専用ハードウェアを用意する必要は無い。実際に、彼らは必要に応じて、同じ物理サーバ上にそれらを置くことができる、とゲッツは書いている。 この仮想的なアプローチは、必要に応じてダウンタイムを必要とせずに、多くのストレージおよびメタデータサーバを任意に追加することも可能としている。

管理者は、物理的なハードウェアまたはクラウドのいずれかの上に、簡単に新しいテスト環境を構築し、設定するためにノード・セット上に新しいFhGHSインスタンスを簡単に作成することができる。 JavaベースのGUIは、管理および監視機能を提供している。 FhGHSファイルシステム自体は、Linuxカーネル上で動作し、フラウンホーファーによって商用サポートされている。

FhGHSは、2007年11月にネバダ州リノで開催されたSC07会議において正式発表された。 それ以来、独フランクフルトにあるゲーテ大学のTop 500システムを含むいくつかのシステム上で使用されている。

FhGHSのベンチマークテストでは、最大20台のストレージサーバを持つクラスタにおける読み取り/書き込み操作で線形に近いスケーラビリティ(最大値の94％)を見せている。メタデータサーバのテストでは、毎秒50万ファイルを生成する能力を示している。 言い換えれば、10億ファイルの生成は、約30分足らずで済むということである。

独ドレスデンの37マイル長および250マイル長の100Gigabit EthernetテストトラックでのLustreとGPFSに対する頭を付合わせての競争では、グループ支援のFhGHSは、結果を公開するいくつかの一つであった。 ゲッツの論文によると、これらのテストでFhGHSは、250マイル長トラックで双方向モード時に理論最大性能の89.6パーセントのスループット、単方向モード時では、最大99.2パーセントを実行してみせた。

HPCコミュニティがエクサスケールコンピューティングに到達する時、FhGHSの背後にいる人々は、新しいファイルシステムが、特に消費電力、耐障害性、およびソフトウェアのスケーラビリティに関係するソリューションの一部を提供することができると考えている。 “フラウンホーファーは、いくつかの方向からエクサスケールの問題を攻略するための経験を有しており、並列ファイルシステムはその一つになる。”とゲッツは書いている。