世界のスーパーコンピュータとそれを動かす人々


4月 15, 2024

新HPCの歩み(第182回)-2001年(g)-

小柳 義夫 (高度情報科学技術研究機構)

第14回目のSC2001はDenverで開かれた。Petaflops、ASCIそしてHPFの話が全く消える一方、グリッドとバイオが目立つようになった。基調講演ではCraig Venterがゲノム解読におけるHPCの重要性について講演した。水曜日の招待講演はMicrosoftのJim Grayであった。5年後かれが洋上で行方不明になるとはだれが予想したであろうか。

SC2001

 
   

SC2001: High Performance Networking and Computing Conference国際会議(通称 Supercomputing 2001) は、14回目の今年、コロラド州の州都 DenverのColorado Convention Center で11月10日から16日まで開催された。テーマは”Beyond Boundaries”であった。なお、sc2001.orgのweb pageは現在すべてリンク切れである。

1) 同時多発テロなど
9月11日の同時多発テロの記憶も冷めやらず、炭疽菌事件はまだ進行中で、本当に開催できるのか危うく思われたが、実際にはほとんど問題なく例年通り開催された。それでも、12日朝にはアメリカン機がニューヨーク沖に墜落し、「すわ、またテロか」と色めきたったが、どうも先行する航空機の気流に巻き込まれたようで、一安心した。ただ、会期中にラマダンを迎えるとか、カブールが陥落するとか、ニュースから目が離せない毎日であった。成田空港では、ちょっと警戒が厳しい程度であったが、乗り継ぎのサンフランシスコ空港の国内線ターミナルでは、パソコンを出してX線に通せとか、ポケットの中のいっさいをぶちまけろとか、大変な騒ぎであった。帰りのDenver空港では、ついに私は靴まで脱いでX線に通した。会場でも、会議参加バッジをもらうのにパスポートを要求されたのは初めてである。みな今となっては常識になってしまった。市内には国旗をつけた自動車が目立った。最終日の金曜に町を歩いていたら映画館に行列ができていた。何かと思ったら、映画”Harry Potter and Sorcerer’s Stone”の封切りであった。(因みに本のイギリス版の原題は、”Harry Potter and the Philosopher‘s Stone”)

2) 組織
今年の組織委員長はCharles Slocomb (LANL)で、プログラム委員長はSally Haerer (Oregon State University)であった。日本からは、松岡聡(東工大)がプログラム委員に入っていた。来年は三浦謙一(富士通)がPCに入るということである。今年はグリッド関係のペーパーが多かったせいか、来年はグリッドに関してテクニカルサブコミッティーが構成され、松岡(東工大)、関口、田中(産総研)がメンバとして入るということである。

3) 全体像
今年はテロの影響もあって、参加者は例年より若干少ないのではないかという感じであった。Technical Program参加者2017名、Exhibit onlyを含めて5277名の参加ということである。日本からの参加者は3割減というところであろうか。

会議は、Education Programが10日(土)から、チュートリアル(27件、全日は13件、半日は14件)は11日(日)から始まった。Education Programは年々盛大になり、今年は全米から130人の教師が1週間にわたるセミナーに出席したということである。SC始まって以来の流れであるが、あらためてアメリカのK-12 (幼稚園から高校3年まで)のコンピュータ教育への熱意には驚嘆すると同時に、日本はこれでよいのか心配になる。

これらを別にすれば、12日(月)夜7時の展示会場における Gala Openings(盛大な開会式)から会議の中心部分が始まる。このとき展示会場が公開されその場で飲み物(Technical参加者は2杯まで無料)とおつまみが提供される。このイベントは現在のSCでも続いている。

火曜日の朝から実質的なプログラムが始まる。朝は8:30からで結構つらい。会議指定のホテルと会場の間は朝から晩までひっきりなしに貸し切りバスが往復している。8:30–10:00はplenaryで、基調講演と招待講演(4件)に当てられている。10時からはコーヒーブレークで、結構ボリュームのあるパンや果物なども出て、朝食の代わりにする人も多い。展示会場も10時からオープン。10:30から17:00まではいろいろなプログラムが多数並列に設定されている。今年も、審査付きの原著講演(30分)と並列に、Masterworksと称して、さまざまな分野の総合報告が招待講演(45分)として設けられていた。今年の大きなテーマは、Gridとバイオである。特にバイオは、基調講演にVenterを呼んだほか、10のMasterWorksのセッションのうち3つをEmerging Life Sciencesに当てていた。そのほかのテーマは、HPC Computing Infrastructure(2セッション), Virtual Product Development with CAE(2セッション)などがあった。並行してパネルも6件あったが、そのテーマは以下の通り。

Supercomputing in a Shoebox: The Convergence of High-Performance Computing (HPC) and High-Performance Embedded Computing (HPEC)

Computational Biosciences: The Computational Continuum from Human Genomes to Human Health

Computational Science: Do Undergraduate Faculty Know that Computational Science is the Future?

The Access Grid: Where the Vision Meets Reality

HPC Software: Have We Succeeded in Spite of It or Because of It?

General: Supercomputing’s Best and Worst Ideas

 

やはりバイオとGridが目立つ。

印象的だったのは、Petaflops、ASCIそしてHPFの話が全く消えていたことである。Petaflops のような国家的目標を立ててコンピュータを建設するより、着実に応用や利用形態を分析した上で次世代戦略を考えるべきだということであろうか。

そのほか例年の通り、企業展示研究展示Exhibitor’s ForumBirds-of-a-Featherなどいろいろある。今年は、WorkshopがSCの正式なプログラムとなった。以前の記録には見当たらないが、非公式にやっていた例はあるかもしれない。今回は3件のWorkshopsが開催された。

Monday, November 12

Full Day

GRID 2001: 2nd International Workshop on Grid Computing

Wednesday, November 14

Half Day, pm 

End-to-End High-Performance Networking

Friday, November 16

Full Day

APART 2001: Automatic Performance Analysis: Resources and Tools  

 

GRID 2001については後に記す。第2回であり、第1回のGrid 2000はHiPCに併設してインドのBangaloreで開催された。現在、何十というWorkshopsが開催されている状況からみると、3件とはかわいらしい。

SC99ではあったPoster sessionが前回SC2000ではなかったが、今回復活し(責任者はHarvey Wasserman)、コーヒーブレークの会場で展示されていた。火曜日の5時からはとくにポスターセッションの時間と定め、説明員が立ち、軽食や飲み物を出して人寄せをしていた。応募155件から厳選して、48件が採択されたとのこと。日本からも、東大理のdata reservoir、黒田(東大)のILIB-GMRES、東京農工大・RWCPのRHiNETが発表された。

4) 企業展示
主催者発表によると、今年は95の企業展示が出展された。展示スペースは(研究展示と合わせて)195,000 ft2(17,500 m2)とのことである。今年は、同時多発テロのために、日立と富士通が直前に出典を取り消したことは大変残念であった。よい場所にぽっかり空いた空間は、近くの企業の商談場所と化していた。いつもは大勢参加する両社からは、それぞれ1~2人の参加にとどまった。何人かのアメリカの友人から、「二社はなんで来ないんだ」と怒りの言葉をいただいたが、私に言われても困る。

今年の企業展示の特徴は、昨年に多数出展していたApplied Metacomputing, Knowledgeport Alliance, Entropia, Parabonのようないわゆる peer-to-peer computingの会社の名前が見えなかったことである。ただ、KS氏他の御指摘によると、ミドルウェアのAvaki社は、Applied Metacomputingが名を変えたものであり、企業連合の中で重要な役割を担っていた。Entropia もブースはなかったが Andrew Chien も参加して、あちこちで精力的に動き回っていたとのことである。SETI@homeのような研究ならともかく、ビジネスモデルとしては修正が必要なようである。多くの人は去年からそう思っていたが、それでも会社を作ってみるところがアメリカ的というのであろうか。ストックオプションはどうなったのだろうか?

今年の出展企業をざっと分類すると、コンピュータベンダ(チップベンダを含む)が12、クラスタが11、data storageが12、ネットワーク関係が13、可視化が3、ソフトウェア・ミドルウェアが15、ソリューション・ビジネスが9、出版・学会が11、その他というところか。また会議中、他のセッションと並行して、Exhibitors’ Forum が開催され、各社が30分ずつ講演を行った。

企業展示の中から印象に残ったものだけ記す。

a) IBM社
 IBMは、今年10月4日に発表した、POWER4に基づく eServer p690 (コード名Regatta)に力を入れていた。これはRS6000 SP と違って32 processorsまでの共有メモリシステム である。複数のp690同士の接続は、今はGigEthernetであるが、来年にはColonyという高速スイッチが発売される。IBMはGrid computingにも目を向けている。life science関係では、1 PFlopsを目指していたBlueGene 計画が、LLNLとの共同研究プロジェクトBlueGene/L(ピーク200 TFlopsと言われる)に転進したとのことである。

b) Compaq社
 Compaq Computer社はHPとの合併手続きが進行中であったが、多数のAlpha clusterが世界のトップに君臨しており、非常に元気であった。最近の受注として、Fox Blue Sky Studios (DS10Ls), Celera Genomics (1.3 TF), GeneProt (Europ, DS10L, 1.9 TF), SNL (linux cluster, 1800 proc.), CEA (France, 5+ TF), APAC (Australia), ASCI Q (LANL, 30 TF)を上げていた。すでに納入したうちの最高は、TCS (Pittsburgh Supercomputer Center)の6 TFのクラスタ(ES45x750,LeMieuxと命名、ペンギンの名前だそうだ)である。ちなみに、ES45は、1 GHzのEV68を4個載せている。次のAlpha chip EV7を開発するなど今後も強気であるが、HPとの合併が完了すれば、遠くない将来にIA64に移行するのではないかとの観測もある。

c) Quadrics社
 Alpha(だけではないが)をつなぐ高速相互接続ネットワークを造っているのがQuadrics社である。前に述べたように、この社名は格子ゲージ理論専用機のAPEを製造した会社として聞いたのが始めであった。この社の相互接続ネットワークはfat tree であり、昔のCM-5 の省略型のfat treeと違って遠くまでバンド幅を保証している。
 たまたまExhibitor’s Forum (火曜日)の講演に通りかかった。聴衆はいっぱいであった。QsNetは、4×4 を単位とするスイッチで、full bisectional bandwidth, general purpose topology, hardware braodcast, locality of reference, logarithmic cost, multiple routeが特徴。Elan 3 adaptor (たぶんプロセッサ側のボード)の特徴は、DMA engine, thread safe, on-chip cache, MMU with hardware talk walk and TLB (意味不明)、400 MHz byte-wide LVDS link, 64 bit 66 MHz PCI interface, 64 MB local ECC SDRAMなど。
 Elite 3 Switch(上級のスイッチ?)は、16×8 crossbar, 400 MB/s peak,340 MB/s after protocol, 2 virtual channel per link, broadcast and network condition (?), adaptive worm-hole, CRC (cyclic redundancy code) on every packet, 35 ns per hop。結局性能としては以下の通り。latencyのほとんどは、PCIのアイドリングとか。でも、MyricomやInfiniBandに対して勝ち目はあるのだろうか。

latency    MPI send/receive

4 – 5 μs

              shmem put/get

2.5 μs

              pipelined put/get

<1 μs

bandwidth

325 MB/s

barrier time

4.0 – 6 μs

 

d) Sun Microsystems社
 Sun Microsystemsは、長く待たれていたSun Fire15000 を先日発表し、会場でもこれを中心に展示を行っていた。これは、4年前に発表したSun Enterprise 10000の後継機で、最大106個までのUltraSPARC III プロセッサ(900MHz)を載せることができる。ここでも Sun Grid Engine と Globus の組み合わせでデモを行っていたが、デモ員は産総研の田中氏でデンバーから産総研のマシンにジョブを投げるというデモを行った。

e) Intel社
 Intelは、Pentium 4とItaniumが中心であった。Itaniumがどのようなところで使われるか興味のあるところであるが、Cornellをはじめいくつかのところでは、Itaniumのクラスタが動き始めている。近々、後継チップ(コード名McKinley)も発表されると思われるが、サーバ市場にどこまで踏み込めるかが注目される。

f) Cray社
 Cray Inc. は、Cray自身の次期ベクトル機種SV2と、日本電気からのCray SX-6の両者を宣伝していた。両者の棲み分けはどうなるのか、Burton ご自慢のMTA-2をどうするのか、課題は多い。SX-6 に Cray のロゴがついていたのには感慨深いものがあった。MTA-2 はボードの展示があったが、詳しくは不明であった。ちなみに、日本でもMTA-2は1台設置されている。

g) 日本電気
 日本の三大ベンダのうち唯一出展し、しかも日本からSX-6の実機を運んだ日本電気は盛大な展示を行っていた。Itanium-baseのサーバも目玉であった。今や懲罰的関税も取り下げられ、SX-6はCrayを通してアメリカにも売ることができるようになった。また、報道によると日本SGIを子会社にするということであり、今後のビジネス戦略が注目される。

5) 研究展示
今年は65の研究展示(Research Exhibits)が出展されたとのことである(数は資料によりずれがあるが、辞退の数え方の違いか)。日本からは、Asia Pacific Grid (ApGrid)(産総研)、原子力研究所計算科学技術推進センター、筑波大学計算物理学研究センター(未来開拓プロジェクト)、大阪大学サイバーメディアセンター、同志社大学Afils Project、Embedded High Performance Computing Project(九大村上、産総研長嶋など、振興調整費プロジェクト)、RWCP(新情報)、理化学研究所、埼玉大学井門研究室が出展した。筆者も、筑波大学の展示を手伝った。どういうわけか、研究展示の一覧リストでは、筑波大学の展示がElectrotechnical Laboratory(電総研)となっていた。産総研のApGridは別にちゃんと出ているのに。

テロ直後ということもあり、日本からは人数を縮小したり、実機の持ち込みやデモをあきらめたりしたところも少なくなかった。今回は、アジアからの研究展示が「アジア村Asian Village」の名の下に集められ、一番奥の隅っこにおかれてしまった。皆で抗議した。ATIPのDavid Kahaner氏は、アジア村にブースを置き、日本を含めアジア関係のパンフレットを配布していた。

出展を予定していたアドベンチャプロジェクト(東大吉村忍、未来開拓プロジェクト)、東北大学流体研究所、統計数理研究所、海洋科学技術センター(地球シミュレータ)、日本科学技術振興事業団、航空技術研究所、RIST(高度情報科学技術研究機構)は残念ながら出展を取りやめた。

6) GRID 2001
12日(月曜日)午前午後にGRID 2001, 2nd International Workshop on Grid ComputingがWorkshopの一つとして開かれた。午前中は、Object MiddlewareとResource Discovery & Managementのセッションがあったが、大学院生の発表練習みたいなのが多く、内容もあまりに単純化したモデルでのシミュレーションの話ばかりで面白くなかった。リソース管理の話など、2-30年前のOSの議論の蒸し返しのようにも思えた。次の第3回も、SC2002に隣接してBaltmoreで開催される。

7) SCinet と SC Global
会場全体のネットワークSCinetは1991年から始まったが、今回、外に対して15 Gb/sで結び、会場内は6本の10 Gb/s 幹線を引き、30個のワイヤレスモデムを設置したことを報告。たしかに、会場どこでもワイヤレスが使え便利であったが、講演を聴いているのだか、メールをチェックしているのだかというところもあった。ただ、本格的な可視化をネットワーク越しにやろうとすると、バンド幅が取れず苦労したということである。

 
   

今年の新しい意欲的な試みはSCglobalである。責任者は Ian Foster (ANL)。これは、Access Grid技術をつかって、世界中にこの会議の様子を中継し、また彼らを参加させるものである。アメリカ国内はもちろん、6大陸、10カ国、北京、ユーリッヒ、つくば、トロント、マンチェスター、シュトットガルト、ボローニャ、シドニー、ポルト・アレグレ(ブラジル)、NSFの南極研究センターなど世界の32カ所で見られている。曰く、”From Beijing to Bologna, from Anchorage to Antarctica”(頭韻を踏んでいるつもりらしい)。写真はANLの風景(ACMのページから)。(HPCwire 2001/11/2)

単に会議の実況中継だけではなく、同時に、Access Grid を効果的に使用したワークショップも企画され、日本の関係(産総研のAccess Grid ノードを利用)ではパネリストとして産総研・関口(デンバーより)、高エネ研・渡瀬氏、産総研・大蒔氏(産総研より)などが登場した。裏で Bandwidth Challenge のような強烈な通信が並行して走ったため、音声や画像に乱れが出たのが残念であった。

SC Global は、単にHPCNだけではなく、それを越えて、遠隔治療、社会科学、芸術などにおけるセッションをも可能にする技術である。Ian Foster 曰く、「SC Global の参加者は、国際的な展望を与えることによって、会議をより豊富なものとしている。それだけでなく、SC Globalプログラムの全体は、grid技術の可能性を人々に知らしめ、人々を科学的・芸術的な協力関係に導くのである。」

これとは別に、Plenaryを中心にいくつかのセッションはネットワーク経由でNetcastされたようである。

8) Keynote Address
前日のGala Openingに引き続いて、13日(火曜日)の8:30から開会式が開かれた。組織委員長のC. A. Slocomb (LANL)からは全体的な報告があった。

今回の基調講演は、Celera Genomics社のJ. Craig Venter会長であった。彼は、1992年にTIGR (The Institute for Genomic Research)を創立したが、当時は1000ほどのsequenceしか解読できなかった。まして、ヒトゲノムが解読できるかどうか懐疑的だった。6年前に最初のゲノムが解読されてから指数的に増大した(マラリア、炭疽菌など)。最初の頃は計算の重要性に気がついていなかったが、現在1.5 TFlopsの計算能力をもち、自動機械を用いて、1日24時間週7日間解析を続けている。

ゲノムはshot gun法という方法で読んでいる(これがCelera社の戦略)。一度には数百のbp (base pair)しか読めないので、DNAをその程度の長さに切って読み、それを計算機によりつなぎ合わせる。誤りの確率は1015分の1程度だ(と豪語していた)。

drosophila(ショウジョウバエ)は、300万sequenceで、これは4ヶ月ででき、13601個の遺伝子を見つけた。それに意を強くして、ヒトのゲノムの解析に取りかかった。

サンプルとしては、人種的多様性を考慮して5人(女3人、男2人、African American, Chinese, Hispanic, Caucasian, …)の染色体を用い、1999年8月9日に開始した。これはいわば30億ピースのジグソーパズルである。2000年6月26日にCelera社はヒトゲノムの解読完了を発表した。

遺伝子の数は意外に少ない。昔は10万位と思われていたが、どうも3万程度らしい。ゲノムの特徴はまったく互いに異質である。DNA配列からタンパク質が予言できるが、実際には配列にはコピーが多い。たとえば、20番目の染色体の半分は他の染色体のDNAのコピーである。C elegance(線虫)のゲノムでは複製構造が完全に追跡されているが、人間ともかなり一致している。マウスとヒトとの対応は、ダウン症に関係するヒトの16番目の染色体には、マウスの21番染色体のコピーが多いことが知られている。だいたい、ヒトの94.5%はマウスのゲノムであり、マウスの96.6%はヒトのゲノムである。

今後の問題は個体による違いで、特にSNP (Single Nucleotide Polymorphism、「スニップ」) の研究が進んでいる。しかし、SNPの99%は遺伝子の中にはなく、生物的に無意味である。SNPと病気を結びつけ、個人創薬の可能性が追求されている。

ヒトとチンパンジーとは、平均1.27%しか違わない。一番違うのはY性染色体、それでも1.9%。ヒスタミンH1 receptorでもチンパンジーとヒトとの違いはわずか。

CCR5 gene はHIVへの耐性と関係があると思われ、白人では9%のヒトが持っているが、黒人では0.1%以下である。700年前のペスト大流行で、この遺伝子を持たないヒトは死亡したためと思われる。

タンパク質の解析では、質量分析機でTOF (time of flight) で解析する。deconvolutionが必要で、コンピュータの能力がボトルネックとなっている。Genomicsならテラバイトでよいが、Proteomics ではペタバイトが必要で、さらに個人創薬となるとエクサバイトが必要になる。是非とも、コンピュータサイエンスの力を借りたい。(ただ、どういうHPCがほしいのかという具体的な話はなかった)

9) The World Wide Telescope
14日(水曜日)の招待講演は、Jim Gray, Microsoft Researchの”The World Wide Telescope: Mining the Sky”で始まった。

今や天文のディジタル化された観測データは膨大な量になり、ほとんど公開されてはいるが、生のデータをftpで取るような形が多く、すぐ自分の他のデータに統合できるような形にはなっていない。そこで、天文の学界では、Astronomical Data Gridを構築して、World Wide Telescopeというvirtual observatoryを造ろうとしている。これはデータマイニングにとっても大きな挑戦である。

これまでは、人間が仮説を提示し、コンピュータがそれをチェックするのが普通であったが、これからは、コンピュータが(データから)仮説を提示し、人間がそれをチェックするようになるであろう。データマイニングによって、今後どんどん新しい発見がなされるであろう。データマイニングといっても、科学と商業では全然違う。科学では、データはファイルにあり、科学者が自分で解析を行うが、商業では、データはデータベースにあり、標準的なソフトで解析を行う。

最後にSloan Digital Sky Surveyのデータ (http://www.sdss.org/) を用いて、デモを見せた。これは、教育にも大きな意味がある。

Grayは2007年1月26日洋上で行方不明になるが、Microsoft Researchは2009年、氏を記念して論文集“The Fourth Paradigm: Data-Intensive Scientific Discovery”(データ集約科学は第4の科学)を公開する。

10) Grid Computing(Fran Berman)
続いて、今年SDSC (San Diego Supercomputer Center)所長になったばかりのFran Berman女史が、”Grid Computing in the Terascale Age”という講演を行った。

Grid computingとは何か?いろんな定義があるが、”Resource sharing and coordinated problem solving in dynamic, multi-institutional virtual organizations”と定義しておこう。

Gridという名前はPower Grid(電力網)からきているが、grid computingは、資源やサービスのスペクトルが遙かに広く、セキュリティの問題や、政治社会的な問題まで含むところが違っている。

歴史を振り返ると、1980年代にGigabit Testbedが始まり、離れた場所を結合して何かの応用を走らせることが可能になり始めた。それ以後、並列処理、ネットワークの研究が急速に進んだ。SC95におけるI-wayは、最初の大規模なGridの実験であった。このときは17カ所が、vBNSやOC3で結合され、60以上のapplicationが走った。

それ以後、急速にGridのcommunityが拡大し、例の本も出た。ソフトウェアの研究も進み、Ian Foster, Carl KasselmannなどのGlobus projectは、Grid を階層化されたサービスの集合として位置づけた。GrimshowらのLegion projectは、Gridを一つの仮想的計算機として見せた。併せて、SRB, Condor, NetSolveなどのbasic buiding blocksも登場した。

アプリケーションのコミュニティも増大した。Grid-friendlyな応用が開発され、現実の応用で成功した。Mcell(cellular microphysiology)では、計算時間が10分の1に減少した。Using everything — “everyware” (Wolski in SC98) all at the same time, adapting to resource availability—solution was ubiquitous, resource aware and adaptive (not embarrassingly parallel).

1995-2000には、国際的な協力も始まった。US/EU/AP。「現在では」とロゴの一覧を見せた。グリッド・コミュニティは今や成熟した。インフラから応用に進み、middleware, everyware, performance, scalabilityなどが中心。いまや、元々のインフラを飛び出している。Grids becoming a first-class scientific tool.

Gridを使いよくするためのPortalも開発された。今や、Grid as a critical platform for computing と考えられている。Broad acceptance of Grids as a critical platform of computing. Globalization of the Grid — EU grid, AP grid, PRAGMA, UKなど。今後PRAGMA (Pacific Rim and Grid Middleware Assembly)がアジア太平洋地域におけるグリッドのアプリケーションテストベッドとして関連が深くなってくるであろう。

今やGridは、NII (National Information Infrastructure)の重要な基盤である。NSFは今年の8月9日に、53M$をTeraGridに付けた(SDSC, NCSA, CalTech, ANL)。これは、13.6 TF, 6.8 TB memory, 79 TB internal disc, 576 TB network disc。これにより、脳の研究などに画期的な進歩があるであろう。これまでは一つのPETのデータ4 TBしか扱えなかったが、TeraGridにより、多くの共同の研究所の400 TBのデータが利用可能になる。Targeting the Grid as a first-class scientific tool.

Grid computing in the digital Millenniumは、personalized media, sensors, instruments, wireless, network, knowledge from data, …..今後10年には、Gridは予想もできないような集積度とスケールに達するであろう。

TeraGrid からPetaGridになる。今では知識は所有されているが、これからは、sharing as a default mode of interactionとなるであろう。We should have to be Heroes to achieve Grid program performance.

Drivers wanted, Leadership needed!!!

次回はSC2001(その二)で、Top500、各種の賞、とくにGordon Bell Prizeなど。ASCI Whiteは堂々の1位を保持した。日本からのTop10入りは、東京大学のSR8000/MPPだけであった。

 

left-arrow   new50history-bottom   right-arrow