ひまわり8号のデータ解析を支えるユニットコム - 千葉大学・環境リモートセンシング研究センター導入事例

ひまわり8号から送られてくるデータとは?

マイナビニュース：環境リモートセンシング研究センターではどのようなデータを扱っているのですか?

樋口氏：静止気象衛星から送られるデータは地球の形に沿ったものですが、当施設ではこれを他の科学者でも使いやすいように、変換をおこなっています。この作業を我々は「丸いものを四角くする」と呼んでいます。この変換は他の施設では行っていません。この変換が行われたデータこそが、当施設のセールスポイントになります。

これらのデータは、環境リモートセンシング研究センターのWebページにあるデータベースページにて、公開できるかぎりすべて公開しています。誰でも閲覧できますし、もちろんひまわり8号のデータも見ることが可能です。また世界中の気象データや、世界最大手の気象情報サービス会社「ウェザーニューズ」さんから頂いたデータなどもリアルタイムで合成し、公開しています。静止気象衛星は公的財産ですから、どなたでもデータを利用できますし、データの仕様についても記載しています。ほぼ地球全球を網羅するデータを用意しており、最低でも一時間に一回、全球をカバー出来る体制をとっています。

樋口氏：ただし、絵や説明などはほぼ入っていないので、玄人向けのポータルと言えるでしょうね。一見さんお断りという言い方は変ですけれども、人数が非常に限られているセンターですので、データの読み方や公開しているサンプルプログラムの変更の仕方といった質問にまで対応できないためです。とはいえ、これらのデータは年間に1,000万ファイルくらいダウンロードされています。

膨大なデータを管理するため、サーバールームを新設

マイナビニュース：気象衛星から送られてくるデータを処理するためにはどのような設備が必要になるのでしょうか?

樋口氏：いわゆるサーバールームと呼ばれる設備に近いシステムを、このたび構築しました。設立された1995年にはテープアーカイバとロボットアームでデータを管理していたのですが、このシステムですとランダムアクセスができず、データの書き出しに非常に時間がかかってしまいます。そこで私が着任した2005年に、研究棟の一角にLinuxのサーバーを構築し、HDDのRAIDを組むという形に変更していったんです。

しかし、データの蓄積が進むとシステムの規模もどんどん大きくなります。24Uのラックがいつしか42Uになり、いつしかその42Uのラックが8つになり、さすがに建物の耐荷重を超えるほどになってしまい、大学から拡張にストップがかかってしまいました(笑)。ちょうどそのころ、ひまわり8号のデータアーカイブをどうするかという議論を行っている最中でしたので、改めて構造物を入れ、専用のサーバールームを作った次第です。設備としては、データを処理するPCと、ストレージシステムになりますね。

樋口氏：ひまわり8号以前の気象データは、RAIDひとつで20TBのストレージシステムに保存していました。それよりも容量の大きなものもありますが、それでも50TBほどです。しかしひまわり8号の場合、データの大きさがこれまでの50倍にものぼります。このデータを従来通りのストレージに保存していってはあっという間に台数が増え、物理的な保管スペースが無くなってしまいますから、スリムな形で運用する方法を考えたわけです。

樋口氏：大容量データを効率よく管理・保存していくため、ストレージもカスタム仕様のものを導入しました。これはユニットコムさんにお願いしたものではありませんが、裏までHDDを入れることができる筐体にエンタープライズ仕様の8TBのHDDを搭載して、RAIDを組んでもらいました。このRAID一つで100TBのデータを保存することができます。しかしこのストレージでも、ひまわり8号のデータを保存できるのは約1年分です。毎年このストレージを購入しなくてはいけないわけで、いまは空いているラックもどんどん埋まっていってしまう事でしょうね(笑)。

樋口氏：これほどのデータを処理するわけですから、管理するPCにも当然相当な負荷がかかりますので、かなりハイスペックな管理用のPCを2台、別途購入しました。こちらがユニットコム 法人営業部さんの製品ですね。ちょうどこれから演算するデータが大容量のメモリを必要とすることが判明したため、タイミングがよかったです。