世界のスーパーコンピュータとそれを動かす人々


スパコン探訪記シリーズ

9月 1, 2016

SPring-8

杉原正一

SPring-8header-962x321

1895年レントゲンが陰極線管を使って放電現象における電子の流れを研究中に、目に見えない光のようなものがある事を発見して、X線と名付けた。それから百年余り、1997年にはSPring-8が完成し、赤外線からX線までの放射光源の供用を開始した。その放射光源を用い、ナノレベルの微細構造の計測が行われている。今回はその放射光施設SPring-8のある理化学研究所・放射光科学総合研究センターを訪問した。

兵庫県の南西部に位置する播磨科学公園都市へは、山陽新幹線も停車する相生(あいおい)駅からバスで播磨テクノラインを40分程北上する。西播磨の谷あいを進み、トンネルを抜けると吉備高原の一画に「光都」と名付けられたが新しい町が忽然と現れてきた。

放射光とは

高エネルギー物理学研究のために粒子加速器の研究が進められる中、特に円形加速器で軌道を曲げるときに発生する光が加速効率を落とす邪魔者として認識され、その研究が進められた。この邪魔者こそが、シンクロトロン(円形加速器の一種)放射であり、放射光という名称で知られていたものだった。

シンクロトロン放射光が原子物理や物性研究で理想に近い光源になるのではないかと、高エネルギー加速器に寄生して放射光の利用を始めたのが第一世代放射光源である。放射光利用者の間に専用加速器を建設する機運がもりあがり、日本のフォトン・ファクトリー(KEK:つくば)やアメリカのNSLS(National Synchrotron Light Source:ニューヨーク州Brookhaven National Laboratory)が1980年代初頭に完成し、第二世代放射光源となった。X線をアンジュレータで発生させるには、高エネルギー電子ビームが必要と考えられ、電子蓄積リングをベースに、ESRF(European Synchrotron Radiation Facility:フランス・グルノーブル)、APS(Advanced Photon Source:米国 シカゴ Argonne National Laboratory)、SPring-8(Super Photon ring 8 GeV : 播磨)が建設され、第三世代放射光源となった。

X線自由電子レーザーへ

そして2012年にはX線自由電子レーザー(X-ray Free Electron Laser : XFEL)を光源とするSACLA(Spring-8 Angstrom Compact Free Electron Laser)の登場となった。これまでも放射光の中には位相がバラバラなX線は含まれていたが、位相の揃ったX線レーザーを作り出すのは新たな展開が必要だった。その基礎となったのが、SPring-8で開発された真空封止型アンジュレータだ。真空な空間の中で、電子を磁場に垂直に蛇行させるよう永久磁石を配列し封印したものだ。電子は曲がるたびに前方向に光を放射するのがアンジュレータ放射で、電子が前方に進みつつ繰り返し放射するのでドップラー効果によりその波長が短縮される。さらに「自己増幅自発放射(Self Amplified Spontaneous Emission : SASE)」という現象が必要だった。これは、アンジュレータの中で、後ろの電子から出る光と前の電子との相互作用により電子を波長間隔に並べ、X線レーザーを発生させるものだった。こうして得られたSACLAのX線レーザーは、SPring-8の放射光X線と較べると、1パルス当たりの光の強度は約1000万倍、パルスの幅は1万分の1も短い。

SACLAの設備

では、X線自由電子レーザーをどんな装置で作っているのだろうか?幸運にもSACLAはメンテと改造のために運転を休止しており、施設内部を見学する機会を得た。放射光科学総合研究センター XFEL研究開発部門 ビームライン研究開発グループ データ処理系開発チーム 初井チームリーダーに施設内を案内して頂いた。現在、世界でXFELが供用されているのは米国スタンフォードにあるLCLS(Linac Coherent Light Source : SLAC National Accelerator Laboratory)とSACLAの二つの施設のみである。SACLAの見学ルートの起点には、以下の表がパネルとして掲げられていた。

プロジェクト 欧州
European XFEL
日本
SACLA
米国
LCLS
全     長 約3.4km 約0.7km 約2km
加速エネルギー 10〜20GeV 8GeV 14GeV
発 信 波 長 0.1nm〜6nm 0.06nm 0.12nm
総 コ ス ト 約1,190億円 約386億円 約492億円*
運 転 開 始 2017年供用開始予定 2012年3月供用開始 2009年10月軟X線で供用開始
2010年硬X線で供用開始

*加速器は既存施設を利用しているため、新設部分の費用として。

1) 電子銃から電子パルスを放出

tanbo-20160901-spring8-egun 右手前のタンクは、セリウムボライト単結晶のカソードに500kVの高電圧パルスを印加するための高圧回路を収納するタンク。
カソードは1450℃に一様に加熱される。
電子パルスは前方に放出される。

 

2) 加速管で電子パルスを加速

tanbo-20160901-spring8-acclpipe 約400mの加速管がまっすぐ伸びている。
5.7GHz、50MWの大電力マイクロ波により1cmあたり350kVという高電界を実現。
電子をほぼ光速まで加速する。

 

3) 真空封止アンジュレータでX線を発生

tanbo-20160901-spring8-angelator 永久磁石に上下を敷き詰められた4mmの隙間を電子が通り抜ける。その時に、電子は磁場により蛇行させられX線が発生する。
見えるのは磁石列の下段のみ。上段も同じ様に磁石が並べられている。整備のため磁石間の間隔は数cmとなっている。
磁石ごと真空ダクトに格納されている。

 

4) 「自己増幅自発放射」の発生

tanbo-20160901-spring8-selfamp 240mにわたり真空封止アンジュレータ(矢印部分)が続く。
その中で「自己増幅自発放射」が発生し、X線がレーザー化する。

 

これでX線レーザーが誕生したわけだが、セリウムボライト単結晶カソード電子銃、高勾配Cバンド加速システム、短周期真空封止型アンジュレータなど、多くの独自要素技術を結集して設計されている。それらはまた厳選された素材、高度の加工技術、高精密計測制御技術によって支えられている。

  • 0.01℃の温度調節を可能にした冷却水循環技術
  • 高純度の無酸素銅を1ミクロンの精度で加工する技術
  • 中は宇宙よりも真空と言われる真空封止型アンジュレータ
  • 電子ビームの電荷量を0.5ナノ秒で測定する電流モニター
  • 電子ビームの位置を1ミクロン以下の精度で計測する電子ビーム位置モニター

数え上げれば、キリが無いだろう。SACLAを支える日本の技術力として650社以上の企業の名前がリストアップされている。殆どが日本企業だ。

ビッグデータ処理

こうして得られたX線レーザーを用いて、細胞小器官、生体高分子、金属微粒子などの様々な試料が観察される。その観察結果はX線回折データとして、X線カメラで収集され、コンピュータ上に蓄積され、様々なアルゴリズムを用いて、試料の電子密度分布や三次元立体構造を描き出す。まさにビッグデータ処理そのものである。

1)MPCCD
まずX線カメラで回折データを取得する必要がある。そのためにMulti Port CCD検出器が開発された。

tanbo-20160901-spring8-mpccd 1024 x 512 ピクセルのセンサーを8枚並べてあり、2048 x 2048 ピクセルとして利用。
中央部には開口部を設け、開口サイズをモーターにより制御し、入射光がセンサーに照射されないようになっている。

このMPCCDを開発したのは、SCALA内部を案内して頂いた初井さんのチームだった。SACLAの壮大さに圧倒され、MPCCDやデータ収集・データ解析システムの詳しいお話しを聞きそびれてしまったのは失敗だった。頂いた資料などからシステムの概略を以下に示す。

2)データ収集システム(DAQ : Data Acquisition System)
MPCCD検出器からのデジタル信号を計算機用データに変換してCache Storageに書き込む。この時5 Gbpsで1月間連続してDISKへ書き込む必要があったため、DDN社のS2A9900を採用したそうだ(リプレース等を経て現行はSFA10K, SFA7700を使用)。次期システムでは、センサー当たり140 Gbpsの速度が必要になり、しかも72センサーとなるので、10Tbpsクラスの書き込み速度が要求される事になる。組み込みシステムによるデータ圧縮等を駆使して対応していくそうだ。

3)解析システム(Analysis System)
X線回折データを様々なアルゴリズムを駆使して電子密度分布や三次元立体構造を導き出す処理を行う。
2014年に導入された90.8TFLOPSのFX10システム、この9月に更新が予定されている13.3TFLOPS+170TB storageのPC Clusterシステムそして1PBのディスクと8PBのテープライブラリからなるArchive Storageシステムから構成されている。
PC Clusterシステムはこの9月に34TFLOPS + 2PB storageのシステムに移行する。

システム構成図を以下に示す。

tanbo-20160901-spring8-systemoverview

最新の研究成果

こうした巨大な計測システムを使って一体何がみえて来るのだろうか?
連続フェムト秒X線構造解析(SFX : Serial Femtosecond Crystallography )と呼ばれる手法がある。SFXは、多数の微結晶を含む液体などをインジェクターから噴出しながら、X線レーザーを照射し結晶構造を解析する手法で、配向の異なる多数の微結晶から回折データを連続的に収集してその構造解析を行う。フェムト秒の極短パルスであることから、X線による微結晶の損傷が発生する前の構造を観察することができる。構造だけでなく、反応にともなう構造変化を観察することも可能になってきた。

SFXにポンプ・ブローブ法を導入した時間分割SFX実験装置による膜タンパク質の構造変化を捉えた研究成果*1を紹介頂いた。水素イオンを細胞膜の内側から外側へ輸送する光駆動プロトンポンプを発現する色素を含む古細菌バクテリオロドプシンの構造変化を捉えた実験だ。以下にその一部を引用させて頂く。

まずバクテリオロドプシンの微結晶に反応を引き起こすポンプ光として可視光レーザーを当てる。すると微結晶に含まれる多数のバクテリオロドプシン分子の反応が一斉にスタートする。この反応開始から、設定した一定時間が経過した後、ブローブ光としてXFELを当て、反応途中の回折データを瞬時に取る。インジェクターから次々に垂れてくる微結晶についてこの計測を繰り返し、経過時間ごとに3次元構造を再構成することで、反応過程の3次元の動画を得ることができる。こうしてバクテリオロドプシンにポンプ光が当たった20ナノ秒後〜2ミリ秒後を、10ステップ以上の細かい時間間隔で捉えることに成功した。

「これほど、細かいステップで構造変化を見たのは、全てのタンパク質において史上初めてです。」と、放射光科学総合研究センター SACLA利用技術開拓グループ岩田グループディレクターは語っている。「光が当たると、タンパク質を構成する原子がどの順番でどのような速さで動いて形が変わり水素イオンを運び出すのか。私達はその過程をみることに成功したのです。これはSACLAだからこそできた実験です。」

計算機の高速化や計算手法の発展により、細胞内の環境で膜タンパク質が構造変化して機能を発揮する過程をシミュレーションできるようになってきた。
「しかし、その計算にはたくさんの仮定が入っています。今回の実験でバクテリオロドプシンの構造変化がどのようなスピードで進むのかが計測できましたが、今までは仮定の数値を入れて計算するしかありませんでした。たくさんの仮定を実験に基づく数値に置き換えることにより現実に近いシミュレーションができるようになります。」

世界一にならないと

SACLAのXFELの活用により、これまで見えなかったものが見えるようになりつつあるようだ。人工光合成の実用化に関しても、光合成反応が「どのように起こっているか」という研究はすすんでいるが、「何故反応が進むのか」はSACLAを使って研究中だそうだ。近々その成果を見ることができるかもしれないと思うと、心躍るものがある。

『世界一にならないとみえてこないものがある。』というのは、放射光科学総合研究センター石川センター長のメッセージだが、HPCの世界でも自信をもって同じメッセージを言える日が早く再来することを祈りつつ、帰途のバスの数少ない乗客の一人となった。

最後になりましたが、放射光科学総合研究センターの皆様には取材のアレンジ、下記資料を始め各種資料を手配頂き、ありがとうございました。お礼申し上げます。

*1「RIKEN NEWS」5月号「SACLAで膜タンパク質の構造変化を見た!」

 

left-arrow Supercom Tanbo right-arrow