高エネルギー実験では計算機とネットワークの技術は必要不可欠な実験器具の一部として発展してきました。その一例を紹介したWeb10周年の記事でお話ししたように、計算機やネットワークの性能は現在信じられないほどの速度で進化を続けています。今日は、11月16日から7日間米国で開かれたSuperComputing2002で、日本チームが、計算機とネットワークの性能を統合したグリッドと呼ばれる技術を活かし、素粒子の計算実験で見事な成果を収めたことを紹介しましょう。
グリッド技術とは
ネットワークが高速になったことによって、地球の反対側にある磁気ディスクの上にある大量の実験データを、あたかも隣の部屋の計算機につながっているかのように自由に扱うことが可能な時代になりました。20世紀の初め、電力網(パワーグリッド)が発達したおかげで、壁のコンセントにプラグを差し込めば、どこでも自由に電気を使うことができるようになったのと同じように、ネットワークに自分のパソコンを差し込めば、どんな複雑な計算でも、どんな大量のデータでも瞬時に処理することができるようになる、そんな期待を込めて、この技術は、コンピューティング・グリッド、あるいは単にグリッド技術と呼ばれています。
地球規模の超並列分散処理が可能に
計算機とネットワークの性能は、数十年に渡って、凄まじい勢いで進化を続けています。計算機の性能を決めるCPUの処理速度は過去30年以上、10年に100倍の割合で性能向上を続けているように見えます。また過去20年ほどのネットワークを振り返ると10年間に1000倍という凄まじい勢いでの速度向上を続けてきました。現在は大陸間を結ぶネットワークの性能が一台の計算機内部のCPUと磁気ディスクの間のデータ転送速度とほとんど変わらないところまで追い付いてきました。こうした計算機とネットワークの相対的な性能比の変化は、計算機を使うための考え方(パラダイム)を根本から覆すような変化をもたらします。世界各地に分散した大量の実験データをネットワークのバンド幅（回線速度）を気にすることなく自由に移動させることが可能な時代が訪れようとしているのです。
グリッド技術の可能性に着目した米国のANL, SLAC, Caltech, LBNL, Fermilab, BNL, あるいは欧州のCERN研究所などでは、数年前から、高エネルギー実験で数ペタバイト規模の実験データを世界中に散らばっている研究者が自由に解析することができるようなシステム、「データ・グリッド」のプロジェクトを、グリッド技術の計算機科学者と協調しながら進めてきました。
ペタバイトというデータ量はちょっとぴんときませんが、文字の情報に換算すると、国会図書館や米国議会図書館に収納されている全ての出版物に載っている文字を収納した時のデータサイズであると言われています。最近のパソコンは1台あたり100GBの磁気ディスクを搭載していますので、これは現代のパソコン1万台分のデータ量にあたります。
日本の研究開発：データファーム
日本でも、このようなペタバイト規模のデータ処理と、データの高速ネットワーク転送を可能にするためのプロジェクトとして、KEKと産総研、東京工業大学、東京大学などが中心になって、「グリッド・データファーム」(Gfarm)の研究開発を進めています。
Gfarmの設計思想を一言で言うと、「世界中に散らばった数千台から数万台のPCの集まり(クラスター)の上に散らばっているデータを、仮想的に一台のコンピュータシステムとして扱おう」というものです。これまでは、大量の実験データがあると、どこかの大型計算機システムの記憶装置にいったん格納して、そこからデータを順番に出し入れしながら解析を行う必要がありましたが、Gfarmではデータが最初から世界各地に散らばっていて、研究者の解析要求に応じてデータの複製を手もとに持ってきたり、データのある場所に自分の解析プログラムを送り込んだりすることができるため、データの出し入れにかかっていた時間を節約することが出来ます。また、データそのものが世界の各地に複製されているため、どこか一か所の計算機センターが何らかの障害で見えなくなっても、データが失われることがありません。
国際舞台で「バンド幅チャレンジ」に参加
SuperComputing は計算機メーカー、ネットワーク機器メーカーや世界各地の国立、民間の研究所、大学の計算機科学関係の研究室、スーパーコンピュータを利用した超大型科学技術計算を行う研究室、などが一堂に会して展示や研究発表を行う、年に一度の大きな集まりです。今年はワシントンDCから車で一時間ほどの都市、ボルチモアで開かれ、これまでに最大規模の約7,000人が参加しました。
SuperComputingでは2年前から、高速ネットワーク回線をどれだけ有効に活用できたかを競う、「バンド幅チャレンジ」というコンテストを開いており、今年は3回目でした。KEKは日本の共同チームの一員としてGfarmを使い、このコンテストに参加しました。用いた実験データは、以前、このコーナーでもご紹介した、Geant4という検出器シミュレーションプログラムを用いて、LHCのアトラス検出器をシミュレートし、もしHiggs粒子が見つかったら、どんな反応が検出器に残るかを確かめるためのモンテカルロプログラムです。このプログラムを東工大にあるCPU 512台のPrestoIIIという、PCクラスタとしては国内最速のシステムで100万イベントを生成し、得られたデータの一部を、国立情報学研究所の1GbpsのSuperSINET回線でKEKを経由させ、別のPCクラスタに転送しました。
会場にこのコンテストのために設計した特別なPC 12台からなるクラスタを設置し、米国インディアナ大学やサンディエゴスーパーコンピュータセンター、つくばとの間をギガビット級の高速回線で接続し、システム全体として2.3Gbpsという高速データ転送を1時間近く継続して達成することに成功しました。バンド幅チャレンジのコンテストとしては、残念ながら、より高速な国内回線を持っている米国勢にかなわず4位の結果となりましたが、日米間の国際回線を用いた高速データ転送としては、これまでに例のない707Mbpsという速度を達成することに成功しました。これはCD-ROM一枚分のデータを5.7秒で転送できる速度です。
ネットワークのデータ転送性能はデータを送受信する地点間の、回線の遅延時間にほぼ反比例し、遅延が大きいほど、データを高速で送るのが大変になります。今回のコンテストでは日米間にはおよそ200ミリ秒の往復遅延時間(RTT)がありましたが、ギガビット級のネットワークでこの遅延を克服しながらデータファイルを転送するためには、数十台のPCが一度に協調しながらデータを送る必要があり、Gfarmの技術はこの転送制御に重要な役割を果たしています。今回のコンテストに用いたPCクラスタとGfarmには普通のPCにはない、さまざまな工夫がなされています。これらの工夫についてはまたの機会にお話ししましょう。
|
|
素粒子実験とグリッド技術 2002.12.5
