世界のスーパーコンピュータとそれを動かす人々


8月 1, 2018

【筑波大学】最先端多重複合型計算機システム 【入札締切  9/25】

HPCwire Japan

機関名

筑波大学

件名

最先端多重複合型計算機システム

調達方式

借入

借入期間

平成31年4月1日~平成37年3月31日

これまでの流れ

手続き 公示日 説明会開催日 締切日
入札 2018/8/1 2018/8/9 14:00
国立大学法人筑波大学計算科学研究センター1階ワークショップ室
入札:2018/9/25 17:00
開札:2018/11/13 14:00
意見招請      
資料招請 2018/2/21 2018/3/2 10:00
国立大学法人筑波大学計算科学研究センター1階ワークショップ室
2018/4/3 17:00

 

主な仕様(資料招請時)

最先端多重複合型計算機システムは大規模並列計算サーバ、大容量共有ファイルサーバ、及びこれらを有機的に連携し、安定かつ効率的に運用するために必要なその他の設備(ハードウェア及びソフトウェア)により構成されるものとする。

A 大規模並列計算サーバは以下に示す基本的な要件を満たすこと。

a 大規模並列計算サーバは高性能演算装置を持つ複数の計算ノードで構成される高並列型計算機であること。
b 計算ノードはCPU部とGPU (Graphics Processign Unit)部からなる「一般ノード」と、CPU部・GPU部に加えFPGA (Field programmable Gate Array)部を持つ「FPGA搭載ノード」の2種類からなり、大規模並列計算サーバはこれらのノード群を高性能並列相互結合網で結合して構成すること。以下、単に「計算ノード」または「ノード」と呼ぶ場合はこれらの両方のタイプの計算ノードを示す。(注:FPGA搭載ノードにもGPU部があることに留意)
c CPU部は1基以上の汎用CPU、主記憶装置及び周辺装置からなる。GPU部は1基以上の高性能GPUからなる。FPGA部は高性能FPGAを備えるPCIeボードからなる。一般ノード同士、及びFPGA搭載ノード同士はそれぞれが均質な構成であること。いずれのノードも共通の仕様を持つ高性能並列相互結合網インタフェースを備えること。
d 各ノードのCPU部は均一な計算コアを複数持つマルチコアアーキテクチャを持ち、64ビット拡張されたIA32アーキテクチャに基づくものであること。
e 各ノードのCPU部の倍精度(64bit)浮動小数点ピーク演算性能は440 GFLOPS以上であること。
f 各ノード上のCPU部の主記憶装置は、96 GiByte以上であり、その理論ピークバンド幅は115 GByte/sec以上であること。
g 各ノードのGPU部のピーク演算性能は倍精度 (64bit)、単精度 (32bit)、半精度(16bit)でそれぞれ14 TFLOPS、28 TFLOPS、67TFLOPS以上であること。単一のGPUでこれを達成できない場合は、複数のGPUによりGPU部を構成し、それらの合計をもってこれを達成してもよい。
h 各ノードのGPU部は32 GiByte以上の容量のメモリを持ち、その理論ピークバンド幅は1800 GByte/sec以上であること。GPU部が複数のGPUからなる場合は、それらの合計をもってこの容量及び性能を達成してもよい。
i FPGA搭載ノードのFPGA部は以下の仕様を満たすFPGAを持つこと。

(ア)総ロジック規模は、6入力1出力相当以上のLookup Table 1 個と1 bit以上のレジスタを備えた基本ゲートを2500Kゲート以上持ち、内蔵メモリ容量は160Mbit以上とする。また、IEEE-754 に準拠した単精度浮動小数点性能において、3200 GFLOPS以上を実現するものとする。
(イ)70 GByte/秒以上のバンド幅を持つ16GiB以上の外部メモリを 備えること。また、少なくとも半数以上のメモリチャネルがECCに 対応していること。
(ウ)CPU部及びGPU部との接続を行うインタェースとは別に、他のFPGA搭載ノードのFPGA部と接続可能な高速外部接続ネットワークインタフェースを持つこと。高速外部接続ネットワークは4チャネル以上のQSFP28コネクタを持ち、各チャネルの通信性能は100Gbps以上であること。また、全てのFPGA搭載ノードの高速外部接続ネットワークを結合するネットワークスイッチを設けること。FPGA部からの当該ネットワークが複数チャネルで構成される場合、このスイッチはチャネル毎に独立に設置してもよい。

j 各ノードが備える高性能相互結合網インタフェースのネットワークリンクは200 Gbps以上の理論ピーク性能を持つこと。単一 のネットワークリンクがこれを満たさない場合、複数のリンクで 実現しても良いが、MPI等の並列プログラミング環境からはこれらが単一リンクと等価に利用できること。
k 各ノードはPCIe Gen3 x8レーン以上で接続される3.2 TByte以上のNVMe SSDを持つこと。またその耐久性は 3 DW/D (Drive Write per Day)以上とする。
l 全ノードを結合する高性能相互結合網はフルバイセクションバンド幅を提供するネットワークスイッチで構成されること。
m 各ノードのGPU部、FPGA部(FPGA搭載ノードのみ)、高性能相互結合網インタフェースはPCIe gen3以上のインタフェースでCPU部に結合されること。その際、GPU部及びFPGA部はそれぞれx32及びx16レーンで結合され、さらに高性能相互結合網インタフェースはx32レーンで結合されること。これらの全デバイスは相互の通信においてボトルネックを生じないようなPCIeスイッチで結合されること。同スイッチはCPU内に組み込まれていてもよいが、デバイス間での通信ボトルネックが生じてはいけない。
n 大規模並列計算サーバ全体のCPU部の倍精度浮動小数点ピーク演算性能は112 TFLOPS以上であること。同様にGPU部の単精度浮動小数点ピーク演算性能は7.1 PFLOPS以上であること。同様にFPGA部の単精度浮動小数点ピーク演算性能は204 TFLOPS以上であること。
o 大規模並列計算サーバ全体のCPU部主記憶容量は24.5 TiByte以上であること。

B 大容量共有ファイルサーバは以下に示す基本的な要件を満たすこと。

a 大規模並列計算サーバの高性能並列相互結合網に接続されること。
b ユーザ利用可能領域の総和は5 PByte以上であり、全ノードから均一な方法とバンド幅でアクセス可能であること。
c 大規模並列計算サーバからのアクセスの理論ピークバンド幅は60 GByte/sec以上であること。
d RAIDテクノロジによる耐故障運用が可能であり、これを構成するディスク装置単体の故障に対してはシステム全体の運用を停止することなくこれを交換可能であること。

C 全ノードで利用可能なソフトウェアは以下に示す基本的な要件を満たすこと。

a Linuxオペレーティングシステムが動作すること。
b 各ノードのCPU部に関し、自動並列化機能及びOpenMP APIを有するFortran, C, C++処理系を提供すること。
c 各ノードのGPU部に関し、CUDA及びOpenACCによるGPUプログラミング処理系を提供すること。いずれの環境でもC/C++及びFortranが利用可能であること。
d 各ノードのFPGA部に関し、Verilog HDL及びOpenCL等の高位合成が可能なプログラミング環境を提供すること。
e 全ノード間で並列処理を行うためのMPI 3.0以上の規格の通信ライブラリが提供されること。
f 高度に並列化された数値計算ライブラリが提供されること。
g 全ノードを対象としたバッチジョブシステムが提供されること。

D 設置環境について 本システム全体の消費電力は、冷却設備の電力も含めて300kVA以下であること。CPU部、GPU部、FPGA部、主記憶およびディスク装置が連続的に稼働し続けた際にも十分な廃熱が行えるよう、電源容量、空調、設置方式が考慮されること。
E 大規模並列計算サーバの実効演算性能及び大容量共有ファイルサーバの入出力性能については、別途導入説明書に示すベンチマークにより評価する。
F 落札方式は価格及び性能・機能等の総合評価による。総合評価の概要は別途導入説明書に示す。
G 契約締結に当たり、複数年の契約期間の借り入れとする。

現在のシステムについて

密結合並列演算加速機構実験システム HA-PACS

システム HA-PACS
主契約者  クレイ・インク
契約金額 249,999,750円
調達方式 購入
落札日 H25/5/31
備考  

大規模メニーコア実験システム COMA

システム COMA
主契約者  クレイ・インク
契約金額 575,116,500円
調達方式 購入
落札日 H25/10/31
備考  

 

関連リンク

筑波大学計算科学研究センター