世界のスーパーコンピュータとそれを動かす人々


8月 22, 2013

Aspera:高速新プロトコルはライフサイエンスに有効

HPCwire Japan

Alex Woodie

あらゆる企業がインターネット上で大容量のファイルを送信しようとする時、時折トラブルに見舞われることがある。しかし、ライフサイエンス系の組織にとってはファイル転送のボトルネックは、日常的な悩みの種である。現在、高速適応セキュアプロトコル(FASP)の開発におけるAsperaとIntelの間での作業のによって、ライフサイエンス系企業は、WAN越しでもLAN相当のI/O速度を享受することができるようになった。

古き良きFTPは、どこにでもありかつ使い易いため、インターネット上で中小サイズのファイルを転送するための素晴らしいツールである。それは、遠隔から安全ではない(少なくともオリジナルバージョンでは)。しかしファイルの種類によってはこれは大きな問題とはならない。

同様に、HTTP経由で動作するクラウドベースのファイルストレージ・ソリューションは、インターネット越しでのファイル共有の手段として普及している。ただし、FTPベースおよびHTTPベースのファイル転送ソリューションは、ひとつの大きな欠陥に悩んでいる:彼らは大容量のファイルを長距離移動させることに懸念を持っている。

「単純な事実として、TCPトランスポート層に依存しているファイル転送アプリケーションは、ファイル転送距離が増加するにつれて性能の低下が起こる根本的な問題がある。」とAsperaのクラウド・ソフトウェア&サービス・ディレクター、ジェイ・ミグラッシオが最近のプレゼンテーションで述べた。 「従来の共有手法ではスケールしない。」

Asperaは4月にIntelとのFASPの共同開発作業に関して公表した。FASPは、非均一メモリアクセス(NUMA)とIntelのデータダイレクトI/O(DDIO)技術の組み合わせを使用して構築される。DDIOは、新しくより高速なPCI3.0バス標準規格をサポートした最初のXeonプロセッサであるIntel Xeon E5-2600プロセッサ・ファミリーに組み込まれている。

DDIO技術は、Xeonチップ、また統合された10Gigabit Ethrenetコントローラ(これもIntel Xeonのため初)、がプロセッサ・キャッシュへ直接I/Oトラフィックを転送することを可能にしている。 「以前、データは、キャッシュとの統合前にメインメモリとの間で行き来しなければなりませんでした。」とIntelのリードヘルスケア・ソリューションアーキテクト、クリス・ゴフは、Asperaとのプレゼンテーションで語った。 「これは、さらにI / Oの待ち時間を減らすことができます。」

結論として、FASPとDDIOは、I/Oスループットにおける長年のボトルネックを解消するため共同作業を行なう。 「FASPの主要な機能は、インフラが許す限り高速なデータの転送をユーザができるようにすることです。」とミグラッシオは述べた。 「FASPを使った転送ソフトウェアでは、もはやボトルネックはありません。それはネットワークの全帯域幅を利用できるようになるからです。」

これはFASPが、ユーザが世界の反対側にファイルを送信する場合でも、統合イーサネット・コントローラーの10Gigabitの能力をフルに活用できるようになることを意味する。 FASPはまた、IntelがE5-2600製品上に実装したコントローラの仮想現実化による新しいSingle Root I/O Virtualization(SR-IOV)を活用することができる。 Asperaによると、複数の仮想化されたイーサネット・コントローラーを使用する際、FASPは非常に小さな性能劣化に留める。

Asperaは、北京ゲノム研究所、国立バイオテクノロジー情報センター、カリフォルニア大学デービス校を含む3つのライフサイエンス機関の助けを借りて、困難なWANの要求を確認するためのテストを実施した。

これらの機関は、中国から米国への24ギガバイトのファイルを送信するためにFASPテクノロジーを使用した。 Asperaによると、大規模なファイルは30秒未満でUCデービスに転送した。 同じファイルを従来のFTPを使用して転送するには26時間を要した。

FASPについてのテストやその他のより詳細な情報は、Asperaウェブサイト上のホワイトペーパーで公開している。