NEC 執行役員 富山卓二氏

NECは、大量のイベント情報をリアルタイムに処理するミドルウェア、「WebOTX Parallel Stream Monitor」「InfoFrame Table Access Method」を発売した。サービスの多様化、ユビキタス環境の浸透によるトラフック増大と、電子商取引のいっそうの進展、企業間連携の増加などにより、膨大なデータの即時要求処理への需要が高まると同社ではみており、新製品ではこのような需要に応える。同社は今回、高速な並列データ処理を実現するシステムアーキテクチャーを開発しており、新製品はこれに基づき、数万件/秒のオンライン処理性能を実現している。

従来のデータ処理手法として代表的なのは、一旦情報を蓄積しておいて、一括処理するバッチ処理方式と、随時発生する情報を、その都度処理していくオンラインリアルタイム方式だが、同社では、この2方式では、大量データの即時処理には限界がある、とみている。バッチ処理方式では、データを一括処理するため、コストを抑制できるが、リアルタイム性にかける。オンラインリアルタイム方式は、この逆で、即時性に優れる一方、コスト高となる。

また、データベースシステムでも「従来の形式では、集中型の場合、どの業務アプリケーションからもアクセスできるものの、共有される資源が競合することで、拡張性に問題がある。分散型では、複数に分割したデータベース間の同期、連携などの点で、複雑になる。メモリ型データベースは、通常のデータベースのようにハードディスクを用いるのではなく、メモリを利用することで、処理性能を向上させている。しかし、障害時の保全性に懸念がある」(同社)といった課題があるとしている。

同社は、このようなトレードオフの状況に対する解決策として新たなアーキテクチャー「Parallel Stream Architecture(PSA)」を提示している。PSAは、データベースの更新をともなう業務処理を、処理ステージという機構に分割している。これらは階層化され、それぞれのステージで、分散メモリ型データベース方式により、処理を実行する。また、データ処理の工程は、処理ステージごとに処理プロセスを起動させておくストリームという実行単位で扱われる。データ分割は、ストリーム別に定義され、ストリーム相互間で重複がないよう調整されるため、データ干渉が起こらない。さらに、複数のイベント情報をコンテナと呼ばれる「器」に格納、これがサーバー間の転送単位となる。

PSAでは、このようなしくみを用いることにより、発生するイベントの属性に応じて、処理すべきストリームを動的に決定する。こうしたスケジュールに準拠して、イベントに対応するアプリケーションを呼び出す。ストリームでは、その都度アプリケーションを起動する方式ではないため、一括処理も可能になり、コストを抑えることができる。さらに、メモリ型データベースは、ディスクベースのDBに比べ、データアクセスに要するCPU単位コストを1/10に低減するという。

新製品「WebOTX Parallel Stream Monitor」は、サービスプラットフォームとして、大量トランザクションデータをストリームに分割し、一括処理するとともに処理状況を監視する。トランザクションデータや業務の量が増加しても、業務アプリケーションを変更することなく、負荷に応じた最適なシステム構成をとれるほか、システムの稼働中でも動的構成変更が可能だ。また、データ保護の点では、ファイル二重化による高信頼性を確保している。

「InfoFrame Table Access Method」は、大量データをメモリ型データベースで管理、アクセスする際の制御の要となる。データ処理がストリームに分割されて進行する状況で、資源が競合してしまうことを回避させ、並行的な動作を可能にする。さらに、メモリ型データベースの採用で課題となる、データ消失の危険性を低減する策として、ファイル更新履歴を記録するジャーナル機能や、レプリケーション機能を備えている。今回のレプリケーション機能では、複数の物理回線を同時に使用し、高速/高信頼性をいっそう向上させている。

同社の富山卓二 執行役員は、今回のミドルウェアのような製品が求められる背景として「さまざまな新しいサービスが登場し、携帯電話、情報家電など幅広い端末の利用が増えるとともに、RFIDの進化などもあり、データのトラフィックが膨大になっている。またサービスの利用者側では、課金状況などをすぐに知りたいとの要求が高まっている。さらにポイント制のような『企業通貨』が普及しており、情報のリアルタイム処理の必要性が大きくなっている」と話す。

同社では、今回の製品が適用される場として、次のような領域を想定している。企業、業界を横断して、さまざまなイベントを収集、活用するSCEM(Supply Chain Event Management)の分野。ワンセグ放送などを用いた、双方向の視聴者参加型番組、通信販売で使用されるシステム。センサーを搭載した自動車が走ることで、天候、路面状況、エンジン、部品の状態といった情報を無線ネットワークで収集、交通情報、気象情報など多様な切り口で利用する次世代ITS(Intelligent Transport Systems：高度道路交通システム)。小売業、航空業などが中心となって発行していたポイントがさらに広がるとともに、異業種のポイントを交換、相互利用することにより擬似的な通貨として発展している、企業通貨の流通基盤。

同社によれば、PSAに基づいて開発した、大量イベント情報をリアルタイムに処理するミドルウェアはNTTドコモの料金システムに採用されており、トランザクション処理性能は5万件/秒を実現している。