世界のスーパーコンピュータとそれを動かす人々

eNewsletter
6月 30, 2021

高エネ研、クラウドを活用して大量実験データのオンデマンド解析環境を構築

内藤　翼

スポンサー記事

2021年5月19日に、オンラインで開催されたHPCwire Japan主催イベント「HPC in the Cloud 2021」において、高エネルギー加速器研究機構 物質構造科学研究所の山田悠介氏とアマゾン ウェブ サービス ジャパン株式会社HPCスペシャリスト ソリューションアーキテクト宮本大輔氏が講演を行った。本講演の模様をレポートする。

KEK構造生物学研究センターにおけるクラウドの試み

高エネルギー加速器研究機構 物質構造科学研究所 山田氏が構造生物学におけるクラウドの活用事例を紹介。

 

冒頭、山田氏は研究対象となる構造生物学について説明する。生物は細胞からできており細胞の構成成分は核酸・タンパク質・炭⽔化物(糖)・脂質がある。核酸はDNA/RNAの部品で遺伝情報をつかさどり、その遺伝情報をもとにタンパク質が作られる。タンパク質が固有の立体構造を形成し触媒反応・物質の輸送・情報の伝達などの機能を発現することで、細胞の生命活動は維持されている。

構造生物学者は「タンパク質の⽴体構造を解明し、その機能を理解すること」を目的に研究を行っている。タンパク質の機能理解が生命現象の理解につながり、タンパク質の機能を制御する薬剤設計や⼯業への応⽤が可能となる。

タンパク質の構造解析手法

 

タンパク質の立体構造を原子レベルで解明する代表的な手法として「X線結晶構造解析」「クライオ電顕単粒⼦解析」「NMR」がある。山田氏は「それぞれの特徴を理解した上で、最適な手法を選択することが研究者にとって重要」と語る。

構造解析手法の中で「X線結晶構造解析」が長年に渡り最もメジャーな解析手法であるが、近年、解析手法トレンドに変化が起きている。クライオ電子顕微鏡顕を用いた単粒⼦解析が爆発的に発展し、解析の比率を高めている。

KEK構造生物学研究センターの紹介

 

山田氏が所属する構造生物学研究センターは、高エネルギー加速器研究機構(KEK)の中で「物質構造科学研究所」に属している。加速器から出てくる放射光・中性子・ミュオンなどの量子ビームを使い、物質・⽣命の研究を行う。X線結晶構造解析・X線溶液散乱・クライオ電⼦顕微鏡といった構造生物学研究のための「最先端の測定設備・測定⼿法の開発」が主業務だ。開発した設備や手法は共同利⽤・施設利⽤を通じ、⼤学や公的研究機関・製薬会社を中心とした民間企業に技術提供している。

タンパク質X線結晶構造解析の流れと自動化

 

クラウド事例紹介の前に、山田氏は前提となる「タンパク質X線結晶構造解析の実験の流れ」を説明。まず研究者がターゲットとするタンパク質を純度の高い状態まで精製。純度の高い精製標品を結晶化することで、タンパク質の結晶を得る。取得したタンパク質の結晶にX線を照射すると回折が起きるため、回折像を実験装置で記録する。記録した回折像を多段階に渡るデータ解析を行うことで、最終的な構造モデルを得ている。

 

山田氏は「タンパク質X線結晶構造解析実験の全工程を自動化することが究極的な夢」と語る。現在、結晶化や結晶にX線を照射し回折像を取る工程は、高度な自動化が実現できている。無人の全⾃動で「回折データを1日辺り200データセット」収集可能で、実験に活用されている。今後の課題は「ターゲット選定・試料調整・データ解析の自動化」だ。山田氏は「増え続ける大量のデータに対し『人による解析』は現実的では無い。データ解析を含めた工程の自動化が重要」と語った。

タンパク質X線結晶構造解析のなかでも多様な実験スタイルがあり、実験ごとに必要な計算リソース量が異なる。1日に200データセット必要な実験もあれば、必要ない実験もある。また測定装置の稼働時間は年間3000時間(125日) 程度と限られており、「1日辺り200データセットを捌ける高性能PC所有はコスト的に相応しくない」と判断。これらの背景から、柔軟な計算リソースを構築できるクラウド利用を考えることとなった。

KEK構造生物学研究センターのクラウド利用例①

 

山田氏は同センターにおける「タンパク質X線結晶構造解析のクラウド活用事例」を紹介。2018年度に創薬等先端技術支援基盤プラットフォーム（略称：BINDS）の資金援助を受け、AWSパートナーネットワーク（APN）の一社である(株)Fusicと共にアマゾン ウェブ サービス（AWS）を⽤いたクラウド環境を構築した。

実験データを投入し、AWS上のフロントサーバーに解析コマンドを投げると、解析に応じたインスタンスが自動で立ち上がり順次処理を行う。出力された結果をウェブブラウザから確認できる一連のワークフローを確立。ユーザー毎のセキュアなデータ管理と、豊富な計算リソースの効率的な活用による「オンデマンド解析環境」を実現している。山田氏は「本クラウド環境により『X線結晶構造解析の時間短縮』『自動化の仕組み』の効果を実証できている」と成果を紹介した。

KEK構造生物学研究センターのクラウド利用例②

 

次に「タンパク質のクライオ電子顕微鏡単粒⼦解析クラウド活用事例」を紹介。本解析は電⼦顕微鏡から収集する多量の画像データがあり、1データセット辺り数TBの処理が必要となる。多くの計算リソースが必要となり、同センターではGPU4枚挿しの解析WS 7台で計算を行う。

しかし7台では賄いきれず日常的に解析待機リストが発⽣し、慢性的なリソース不⾜に悩まされていた。また利用頻度の高さからWS故障が頻発し運用の妨げとなっており、本課題解決にクラウド活用の検証を行う。

 

2018年度に「X線結晶構造解析クラウド環境」をクライオ電顕単粒⼦解析でも利⽤できないか検証を実施。検証の結果、計算速度・コスト・ストレージ選択・クラウド知識の⽋如の問題により利用を挫折する。

2020年度にAWSが提供するオープンソースのソフトウェアである「AWS ParallelCluster」を利⽤し再挑戦。「AWS ParallelCluster」ではクラウドの専門知識がほぼ必要なく、並列計算を行うための高性能な計算環境が構築可能だ。本サービスにより、クライオ電顕単粒⼦解析ユーザーにとって理想的なクラウド計算環境を構築。

本環境でベンチマークを実施した所、小さいデータセットを使うと同センターのGPUボックスと比較し総処理時間が1/4に短縮化した。また数TBの実データセットにおいてもCPU数を増やしていくことで、クラスタのスケール効果と大幅な計算時間短縮化を実証済みだ。同研究所では「X線結晶構造解析」「クライオ電顕単粒⼦解析」の両手法ともに、AWSのクラウドサービスによる計算の高速化を実現している。

まとめと今後の展望

KEK構造⽣物学研究センターでは測定設備・測定⼿法の発展に伴う計算リソース需要の高まりに対し、クラウド利⽤を推進している。今後の展望として山田氏は、「単に計算リソースとしてクラウド利用するだけでなく、施設間連携や異分野連携の『共有の場』としてクラウド利⽤を検討している」と述べた。データ共有と各連携を強めることで「従来では考えつかなかったような、測定データ・解析データの新たな価値が生まれることに期待している」と抱負を語った。

Amazon Web ServicesにおけるクラウドHPCの現在

 

続いてアマゾン ウェブ サービス ジャパン株式会社HPCスペシャリストソリューションアーキテクト宮本氏が「Amazon Web ServicesにおけるクラウドHPCの現在」と題する講演を行い、クラウドプロバイダーから最新情報を紹介した。

冒頭、宮本氏はクラウドHPCについて「単にクラウド上でHPCアプリケーション動かすだけでなくクラウドの利点をHPCに取り入れていく。研究の本質に集中し研究を加速することが重要」と述べた。企業および研究室におけるクラスタ環境課題として、「年度末・卒論作成など計算需要が増加する時期に長大なキュー待ち時間が発生する」とサーバー台数・インフラ起因による、研究の制約を挙げる。

また、同じ環境を複数のメンバーで共有するため、利用したいアプリケーションに適した計算環境が得られるとは限らず、「計算リソースを十分に活用できていないケースもある」と問題点を指摘。またサーバー台数増に伴うハードウェアの保守管理が煩雑となり「一部の研究者・学生に負担が集中し研究の妨げになっていることもある」と、運用現場で起きている隠れコストを課題に挙げた。

AWSのメリット

 

本課題に対して宮本氏は「クラウドHPCが解決策となりうる」と述べ、AWSの３つのメリットを紹介。

1つ目はAWSのスケーラビリティだ。AWSの場合、必要な時に必要なだけ利用可能なスケーラブルなリソースを用意し、ジョブ実行待ちの無いHPC 環境を実現する。従来のオンプレミス環境のクラスタは台数固定となるが、AWSはジョブが無い時は最小限の台数で構成可能だ。実際に計算ジョブが投入される際に計算サーバーを一気に増強し、計算処理が完了した時点で計算サーバーを終了する。宮本氏は「ジョブに応じて必要な台数で計算環境を構成する。従量課金のためコスト効率よく大規模な計算が可能」とクラウドHPCのメリットを紹介。

２つ目に「アプリケーションに合わせた最適なクラスタ構成の構築」について説明。ユーザーやタスク単位で専用のクラスタを構築できるため、CPU・コア・メモリ・ストレージ・アクセラレータ・ネットワークなど、要件や規模に合わせ最適な構成でクラスタを構築可能だ。従来は「アプリケーションをクラスタに合わせる」といった考えが、HPCクラウドの登場で「クラスタをアプリケーションに合わせる」と大きなパラダイムシフトを迎えていると、ユーザーからの評判・感想を紹介した。

3つ目に、計算機管理の手間を抑えるメリットを紹介。ハードウェア管理・ネットワーク管理・電源管理・空調管理・設置場所は、計算機の規模が大きくなればなるほど管理者負担が増していく。AWSを利用することで物理的管理は全てAWS に任せることができ、管理者は本来の実務である研究に集中できる。リソース準備にかかる手間・時間を減らせ、「物理的な管理から解放されることで研究を加速できる」と述べた。

クラウドHPCを実現するAWS サービス

 

AWSのHPC関連サービスとして、多様なHPCワークロードに対応するため数多くのサービスが存在する。コンピュート・ネットワーク・管理自動化・可視化に関わる代表的なサービスとして、宮本氏は以下3つのサービスを紹介。

●Amazon Elastic Compute Cloud (Amazon EC2)

必要なときに必要な計算リソースを確保可能な仮想サーバーサービス。数分で起動し、秒単位の従量課金（一部タイプについては 1 時間単位）で利用可能。独自の仮想化基盤 Nitro Systemにより、仮想化オーバーヘッドを極小化。ワークロードに応じて多様なインスタンスタイプを選択可能で、高性能CPUはIntel・AMDに加えAWSが独自に開発を行っているARMアーキテクチャのものが利用可能、さらにアクセラレータはNVIDIAのGPUやXilinxのFPGAなど豊富な選択肢を提供している。また、HPC向けにはMPI/NCCLに特化した低レイテンシネットワークアダプタである Elastic Fabric Adapter も利用が可能だ。

●AWS ParallelCluster

ジョブ投入に応じて、自動でスケールするクラスタをAWS上に構築可能なオープンソースソフトウェア。Slurm/SGE/Torqueといった既存のHPC向けジョブスケジューラとEC2の起動・停止Auto Scalingを連携した環境を作成することが可能。使用するOSやネットワーク環境・ストレージ構成などを柔軟にカスタマイズでき、多様なクラスタを作成できる。さらにオープンソースのプロジェクトで、誰でもソースコードを入手可能。

●Amazon Braket -量子コンピュータのマネージドサービス-

AWSは量子コンピュータのサービスも提供。Jupyterノートブックの開発環境・量子コンピュータのシミュレータ・QPUと呼ばれる量子コンピュータのハードウェア実機（D-Wave, IonQ , Rigetti）をマネージドサービスとして提供しており、従量課金で利用可能。

HPC on AWS活用事例

 

AWSの HPC 活用事例として、宮本氏は複数の事例を紹介。COVID-19関連では、「The COVID-19 High Performance Computing Consortium」にAWSが参加し計算リソースを提供している。製薬会社のModerna社もCOVID-19ワクチン開発のためAWSを活用中だ。

自動運転開発を行うMobileye社は「AWS Batch」というコンテナベースのジョブスケジューラを活用し、大規模な自動運転シミュレーション環境を構築。最大同時500,000 CPUコアを利用して、Amazon S3に随時アップロードされるデータを一か月あたり100 PBの処理を行っている事に加え、スポットインスタンス活用による、コスト最適化を実現している。

国内ではウェザーニューズ社が台風・ゲリラ豪雨などの気象リスクに対し、短い予報間隔・高い更新頻度の気象予報を配信するためAWSを活用。 AWS ParallelClusterを利用し、Elastic Fabric Adapterによる約5000 vCPU規模のスケーラビリティを実現しているだけでなく、普段はUSバージニア北部リージョンで計算しているが、万が一計算に失敗した場合、東京リージョンで計算しなおすフェールオーバーの仕組みが構築されている。

更にハードウェア故障対応が最低限で済むため「オンプレミスに比べ5年間のTCOが1/3に」とコスト面のメリットも紹介。また新しいチャレンジを行いやすい環境となり「計算規模が必要なサービスをすぐにローンチ可能」「上手くいかない場合のサンクコストを最小限に抑制」と、サービス開発におけるAWSの有効性を紹介した。

まとめ

 

講演のまとめとして「クラウドHPCはクラウドの利点をHPCに活用することが重要」と宮本氏は述べた。スケーラブルかつ柔軟な計算リソースを有効活用し、マネージドサービスの活用で管理負担を軽減できることがクラウドHPCの利点だ。

AWSは多様な計算リソースに加え、ネットワーク・ストレージ・管理自動化・可視化など様々な関連サービスを提供しており「製造・創薬・自動運転・気象など、様々な分野で本番環境としてAWSでHPCが利用されている」と紹介した。今後の課題として宮本氏は「クラウドでHPCを活用した研究のあり方は検討余地がまだまだ残っている。活用方法の未来について一緒に考えていきましょう」の言葉で講演を締めくくった。