バルセロナでビッグデータをコデザインする

Tiffany Trader

この1月に第3回ビッグデータとエクストリームコンピューティング・カンファレンスがバルセロナで開催され、世界中から100人以上の専門家が集い、ビッグ・コンピュートとビッグ・データが交差する画期的な研究を報告した。昨年と同様に、近所のバルセロナ・スーパーコンピューティング・センターからのRETHINK big構想とコデザインの重要性におけるものを含め、適切かつタイムリーで広範囲の発表をホストする役割を演じた。

バルセロナ・スーパーコンピューティング・センターのOsman Ünsalは、欧州連合の第7フレームワークプログラムから1,900万ユーロを予算として資金提供を受けているRETHINK bigの代表として話をした。1年近く前の2014年3月1日に開始されたこの2カ年計画は、ヨーロッパにおけるビッグデータ・ハードウェアとネットワークのロードマッピを設定するものだ。ビッグデータの主要な生産者と消費者を一緒にヨーロッパの主要なハードウェア、ネットワークおよびシステム設計者を集めることにより、このプロジェクトは、今後10年間におけるヨーロッパの競争性を最大化する目標を持って、高度データ解析への道筋を創る事を模索するのだ。

BDECヨーロッパを中心とした会議であるBDECヨーロッパワークショップBDECのメインイベントの前に開催され、Ünsalは、RETHINK bigがそろそろ１年を迎え、2014年9月のワーキンググループ会議、2014年12月の合同ワークショップ、同様に欧州連合のビッグデータ・バリュー・パブリク・プライベート・パートナーシップによる共同活動などの進展したこと等の経過について説明した。

Ünsalはまた、RETHINK bigのコア要素であるコデザインと、ソフトウェアを設計する際にハードウェアを考慮する必要性やその逆について話をした。結局のところ、RETHINK bigの目標は、アプリケーション、アルゴリズムおよびシステムが並列手法によって展開することを確認しながら、データ解析のハードウェアとネットワーク側を発展させることである。

この会議のプロシーディングスに掲載されたポジション・ペーパーでは、Ünsalはムーアの法則の低下が新しいハードウェア技術とソフトウェア設計を押し進めるようにしているが、協力してこれらを行わないようにすることは間違いである。このパラダイムのいずれかを無視することは問題を起こすこととなる。Ünsalが引用したハードウェアの例はCellプロセッサだ。マスタ・スレーブのコプロセッサモデルは、世界で最初のペタスケール・スーパーコンピュータが悪名が高いほどプログラムし難かったことを有名にした。彼はまた、超長命令語(VLIW)プロセッサで十分な並列化が出来なかったコンパイラを持ったItaniumプロセッサも引用した。

ソフトウェアが「ハードウェアを意識」していない場合に、似たようなミスマッチがソフトウェア側に存在している。ここで、Ünsalは100TBのデータをソートする上位2台のTerasortプラットフォームを引用した:Hadoopプラットフォームとハードウェアに最適化されC言語で記述されたTritonsortだ。

一番のプラットフォームはバニラHadoopで動作しており、そのためプログラウし易い、しかし57倍のコア数、100倍のメモリを必要としてようやく2番のプラットフォームでありハードウェアに最適化されCで記述されたTritonsortの性能のたった2倍だ。

Ünsalの論文は、新興の分散/データフロー・プログラミング・モデルと共に、BSCがデータ集約型ワークロードのサポートを追求するハードウェアの先端性の議論を続けている。

「1面では、私達は帯域幅と容量の問題の解決を助けるために、もっと頻繁な3Dスタッキングの使用を予見しています。」と彼は書いている。「ロジックのトップにメモリを積載すると少なくとも哲学的にはプロセッサ・イン・メモリ(PIM)型のアーキテクチャにより近くなります。PIMアーキテクチャは、ローカリティやランタイム管理されたデータ転送だけでなく、データへの計算の移行を利用するプログラミングモデルにとても良く適合するのです。」

3Dスタッキングを通して有効となる帯域幅によって、帯域幅を非常に効率良く活用することで知られるベクタープロセッサを恐らく使うことで、メモリI/Oボトルネックの緩和を利用する方法を見ている。

Ünsalは、BSCの研究者達もその密度、永続性および低いリークが魅力的なmemristorsやSTT-MRAMのような不揮発性メモリ技術へ進む道筋を見ていると言う。「これらは現在の磁気ディスク技術よりも高密度です。」と彼は付け加え、「ディスクや主記憶を含むすべてのストレージは将来、これら不揮発性メモリで構成される可能性があることを意味しています。これは複雑なファイルシステムを必要とせず、データ駆動タスクベースのプログラミングモデルの妥当性を増加をさせます。」

BSCの研究者達はまた、新興の不揮発性メモリを3Dスタッキングと一緒に利用することを考えている。Ünsalが指摘するように、現在の3Dスタッキングの実装は、リークの増加による熱放散によって制限されている。仮想的にリークフリーである新興の不揮発性技術は熱問題を解消し、メモリの増加を維持する。「オブジェクトベースのストレージが第一級市民であるところで、この不揮発性3Dスタック・マルチコアのプロセッサ・イン・メモリは、新しいアーキテクチャを容易にします。」と彼は書いている。