スーパーコンピュータSUMMITで極限まで磨かれた高速分散ストレージの最高峰Spectrum Scale

スポンサー記事

IBM社のGeneral Parallel File Systemは、最高峰の高速分散ストレージとして、GPFSという呼称で長くその名を知られてきた。GPFSはバージョンアップを繰り返し、Spectrum Scaleという名称に変更された現在でも市場のニーズは高い。このSpectrum Scaleがあらかじめ組み込まれ、HPC向けにデザインされたElastic Storage Server (ESS)というアプライアンス製品がIBM社から販売されているが、その存在を知る人は少ない。

この製品は、2018年11月のTop500の世界最速スパコン Summit(米オークリッジ国立研究所)のストレージシステムとして運用されており、第3世代のESSモデルGLxCとして製品化されている。「高密度に構成されたCPUやGPUからの莫大なI/Oを確実に受け止めるための機能が設計されており、高速性を維持しながら強力なチェックサム機能によりデータを確実に高速処理できるストレージ製品であると自信を持って推薦します」と、株式会社エクサ 基盤システム本部オープン基盤技術部長の石木田義則氏が、製品の特徴を力強く説明してくれた。

ところで、株式会社エクサという会社をご存じで無い方もいるかもしれない。筆者である私が最初に知ったのは15年以上も前で、理化学研究所横浜研究所にてゲノムサイエンスの研究を行っていた時に、IBM Power系の製品説明の際に初めてその名前を聞いたと記憶している。当時はIBM系の技術コンサルティングを行う会社だと思っていたが、高度な実践的スキルを持つ人材を抱える企業というのが実体であった。一方、東京工業大学で構築されたTSUBAME1から1.2の期間に、ジョブスケジューラ(SGE)やファイルシステム(Lustre)等の関連ツールに対する高度な改修が伴う技術的な運用サポートを行い、日本のHPCを技術力で支えてきた会社として、株式会社エクサの名を知っている関係者は少なからずいる。

今でこそHPC分野における高速なファイルシステムといえば、Lustreファイルシステムが有名だが、その黎明期は、まだ性能や安定性の面で途上の厳しい時期があった。TSUBAMEがその状況を乗り切り、安定運用にこぎ着けたのは、幅広い知見・探求心と高い製品応用技術力を持つエクサの貢献も大きかったのではと思う。

日本IBMの関連会社ではあるが、IBM以外の製品も扱う事ができるため、現在ではIAサーバやGPUなどの大規模なシステム構築をトータルで行う事のできる数少ないHPC分野の精鋭部隊を持った会社といえるだろう。

話をESSに戻すと、この製品は、以下に挙げる３つの独自機能を持っている。簡単に抜粋したが、特に3つめの機能は重要で、Lustreファイルシステムと同等の速度を保ちながら、より高度なチェックが可能なのは、数百ペタバイト以上のシステムを構築する上では重要な機能といえる。

➀ソフトウェアRAID
　一部の重要データ領域は8データ+3パリティで構成し、残り領域は8データ+2パリティで構成する等、データの重要度に応じて可用性の異なる領域を複数作成可能な機能

②De-Clustered RAID
　クライアント・データ、冗長情報、スペア・スペースをJBOD のすべてのディスクにわたって均一に分散して、再構築プロセスやディスク障害からのリカバリ・プロセスのオーバーヘッドが軽減する機能

③End-to-end Checksum
　ESSでは独自のチェックサム管理実装により、ディスク・ドライブおけるサイレント・エラー検知および修正が可能で、クライアント－サーバ間、サーバ－ディスク間それぞれにおいてデータが正しくRead/Writeされるかを”End-to-End”でチェックする機能

それぞれの機能の詳細は、ESSのホワイトペーパーをリクエストして、新しい技術的な情報をアップデートしてもらいたい。

最後にESSの今どきのストレージシステムとしての側面を紹介したい。ESSは、実に沢山のプロトコルをサポートしている事から、様々な用途に応じたアクセスプロトコルを提供する事ができる。

まず特筆すべきは、階層化管理されたファイルシステムを構築して、そのボリュームをPOSIXファルシステムだけでなく、iSCSIやS3のオブジェクトストレージ、そしてHDFSとしてアクセスできるため、非常に魅力的な今どきのファイルシステムとなっている事である。パブリッククラウドへの連携も取る事ができるなど、現在求められる多くの要求に応えられる機能を持っている。

オンプレミスの組織内の全てのデータ管理をESSで構築する事で、多くの機能がワンストップで実現できるのは、非常に魅力的といえるだろう。

ここまで高機能なElastic Storage Server (ESS)は、決して安いシステムではない。多くの計算機センターでもこれまで導入を検討しても、費用の面から諦めたセンターも少なくないと思う。また導入しても一部のユーザが恩恵に預かれるだけとの判断で、複数期に跨がる継続的導入に踏み切れなかった組織もあるかと思う。

しかしながら、AIやビックデータが非常に多くの学際的な分野に広がって来ている現在では、HPCシステムの設計・構築においてストレージ性能や保全機能に、これまで以上に投資をする時期にある。これまで導入出来なかった階層化されたファイルシステムによるデータのライフサイクルマネージメントや、多様なプロトコルを備えるシステムは、情報を利活用する上で鍵となる機能といえる。

ESSが提供する機能や性能はIBMが非常に長い時間を掛け、一貫性を持って設計構築してきた、言わば人類のストレージ技術の英知が詰まっている先進的な製品である。したがって、アプライアンス製品として提供される事によるESSのコストパフォーマンス向上は、大規模なストレージを設計する際には、是非検討すべき、高性能分散ファイルシステムといえる。
新しいGPFS(ESS)の詳しい情報を、株式会社エクサにお問い合わせてもらいたい、きっとビッグデータ解析分野での新しい価値が生まれると思う。

※記載されている製品名、社名は、各社の商標または登録商標の場合があります。

株式会社エクサの概要
設立年月日：1987年10月1日
資本金　　：1,250百万円
株式会社エクサは、日本アイ・ビー・エム株式会社とJFEスチール株式会社を母体とするITサービス会社です。先進的なIT製品技術を活用したデジタルトランスフォーメーション（DX）を推進し、上流のコンサルティングから開発・構築、運用・保守までの各種サービスを総合的に提供しています。
URL：https://www.exa-corp.co.jp

本件に関するお問合せ先
株式会社エクサ　マーケティング部
〒220-8560　神奈川県横浜市西区みなとみらい4-4-5 横浜アイマークプレイス2階
TEL：0120-934-863
E-mail：sol-promo@exa-corp.co.jp