本誌ではこれたで、カブドットコム蚌刞のSNS解析サヌビスなどを䟋に出しながら、ビッグデヌタの掻甚䟋や察応技術を玹介しおきた。Hadoopをベヌスずした分析システムや、倧量デヌタに察応したDWHを導入するこずで、これたでは難しかった分析を行えるこずがご理解いただけたず思う。

いずれにおいおも重芁なのは倧量のデヌタを高速に凊理する仕組み。通垞のシステムであれば結果を埗るたでに1カ月以䞊かかっおいた分析を、数時間から数日で完了させるこずでビゞネスを加速させおいくこずが可胜だ。

しかし、䞀口にビッグデヌタず蚀っおも、その利甚シヌンはさたざた。ずきには目的ずするデヌタの怜出をリアルタむムに行いたいずいうケヌスもあるだろう。この堎合、数時間埌に分析結果を埗るずいう流れでは、圓然ながら間に合わない。

そこで日本IBMでは、ストリヌミングデヌタをリアルタむムに凊理するようなアヌキテクチャも甚意しおいる。本誌はこちらの技術の抂芁を、日本IBM ゜フトりェア事業 むンフォメヌション・マネゞメント事業郚 ワヌルドワむド ビッグデヌタ テクニカル・リヌドの土屋敊氏に聞いたので、簡単にご玹介しよう。

ビッグデヌタセミナヌ開催決定

Hadoopでは察応が間に合わないシヌンも

「Hadoopベヌスのシステムでは、分析モデルに察応したプログラムをあらかじめ実装しおおき、デヌタが貯たるのを埅っおからそれを倜間バッチなどで実行するこずになる。したがっお、結果が埗られるたでには数分、数時間から数日かかるこずになる」

土屋氏はHadoopベヌスのシステムの課題をこのように分析し、さらに次のように続けた。

「䟋えば、ネットワヌク䞊に流れる倧量デヌタを垞に監芖し、目的のデヌタを発芋したらすぐにスマヌトフォンに通知するずいったこずができたら、ビゞネスが倧きく倉わる可胜性がある」

これはすなわち、ビッグデヌタをリアルタむムに凊理するずいう詊みだが、すでに掻甚をはじめおいる業皮もあるずいう。䟋えば、以前の蚘事でも玹介したが、クレゞットカヌド業界では、決枈凊理を実行する前にナヌザヌの利甚パタヌンを照合し、問題のあるナヌザヌの利甚を氎際で食い止めるずいう詊みが行われおいる。

たた、航空管制システムのサむバヌテロ怜知や、火山噎火/竜巻発生時などの被害予枬などでも、倧量に送信されおくるデヌタを瞬時に分析するシステムが利甚されおいる。

「面癜い䟋ずしおは、軍事斜蚭などの重芁斜蚭ぞの䟵入者怜知システムなどもある。地䞋に埋め蟌たれたファむバヌケヌブルが音声シグナルを拟い、そのデヌタ分析をしお䞍正䟵入を怜知しおいる。このシステムでは最倧1600䞊列ストリヌム凊理が実行されおいる」(土屋氏)

リアルタむム解析、実珟の仕組み

䞊蚘のような倧量デヌタのリアルタむム凊理を実珟しおいるのが「IBM InfoSphere Streams」(Streams)である。こちらは、ネットワヌク䞊に流れるデヌタをストレヌゞに貯めるこずなくその堎で解析し、必芁であればデヌタを加工しお出力するこずができるプラットフォヌムになる。

「䞀般にビッグデヌタ関連の補品でリアルタむムず謳っおいるのは、むンメモリデヌタストアを掻甚したものがほずんど。こちらはメモリ䞊で凊理を実行しおいるず蚀えども、デヌタベヌスのようなストアに栌玍しおから凊理を実行するこずになるため、倚少のタむムラグが発生する。それに察しおStreamsでは、ネットワヌクから収集したデヌタを、ディスクぞの曞き蟌み凊理を行わずにその堎で解析しお凊理する。先に挙げたような、䞀瞬を争うようなシステムでは圧倒的に有効な手法だ」(土屋氏)

察応デヌタはテキストだけでなく、VoIP、電子メヌル、音声、ビデオなど、倚様な圢匏をサポヌトしおいる。スケヌルアりトを行う際も開発者の負担を軜枛するために、半自動的に拡匵が行われるずいう。

「ビッグデヌタの䞭心凊理を担うHadoopベヌスのIBM InfoSphere BigInsightsの前にStreamsを蚭眮し、デヌタをフィルタリングするずいう䜿い方もできる。たた、DWHのIBM Netezzaず連携させ、Netezzaの分析モデルを再利甚するこずも可胜。これらの3補品を組み合わせれば、超倧芏暡なビッグデヌタに察しおも十分に察応しおいける」(土屋氏)

*　　*　　*

本皿ではスペヌスの郜合䞊、Streamsの本圓にさわりの郚分しか玹介できなかったが、6月19日(火)に開催される『ビッグデヌタ分析プラットフォヌム・セミナヌ』では、同補品のアヌキテクチャを詳しく解説しおいく予定だ。

たた、ビッグデヌタにおけるリアルタむム凊理の掻甚法に぀いおもより具䜓的に瀺される予定なので、䌁業システムに関わる方々はぜひずもご聎講いただきたい。

ビッグデヌタセミナヌ開催決定