マイクロソフトの技術サポートにより Azure SQL Data Warehouse を短期導入、人口流動データを活用したビジネス拡大に寄与 - Agoop

いつでも、どこでも、だれでも利用できる位置情報サービスをコンセプトに、ソリューションを提供する Agoop。同社では、位置情報ログを利用したビッグ データ ソリューションである「流動人口データ」に、Azure SQL Data Warehouse を採用しています。

同社では、Azure SQL Data Warehouse をビッグ データの処理基盤に採用することで、日々生成される膨大なデータをすばやく処理することが可能となりました。また、運用コストやバックアップ管理の工数なども削減でき、同社が抱えていた技術面、ビジネス面の課題を解決しました。

プロファイル

「いつでも、どこでも、だれでも利用できる位置情報サービス」をコンセプトにソリューションを提供する企業として 2009 年 4 月に設立。モバイル アプリ開発とビッグデータソリューションの提供を柱とし、単なる位置情報サービスではなく、さまざまなビッグ データを解析し、社会およびあらゆる企業において価値ある情報を提供しています。

導入の背景とねらい
信頼性の高さと、SQL Server との親和性が決め手となり、ビッグ データの処理基盤に Azure を採用

写真を使った飲食店検索アプリ「MealPix」や施設検索アプリ「あぐらいふ」といった、iOS、Android 向けアプリを複数展開し、シリーズ累計 340 万ダウンロードの実績を持つ株式会社Agoop (以下、Agoop)。ソフトバンクで電波状況のエリア解析を担当していた部門が独立する形で設立された同社は、位置情報によるエリア解析を発展させた、地図サービスやビッグ データ ソリューションの提供に強みがあります。

Agoop のビッグ データ ソリューションの中でも近年特に注目を集めているのが、「流動人口データ」と呼ばれる位置情報ログを利用したソリューションです。

同社が提供しているアプリからユーザーの許可を得て収集される位置情報ログは、全国のさまざまなエリアを対象に、人の移動や滞留を可視化します。たとえば、ポイント型流動人口データと呼ばれるサービスでは、観光スポットや商業エリアといったある特定のポイントにフォーカスした商圏解析や消費者動線が把握できます。また、メッシュ型流動人口データと呼ばれるサービスでは、100 m、250 m または 500 m メッシュのデータにより、1 時間単位の流動人口を把握できます。

さらに、同社は、POI データと呼ばれる、住所や電話番号、郵便番号、緯度経度情報を含んだ約 400 万件に及ぶ業種分類別の法人データも提供しています。流動人口データをこの POI データや過去データなどと組み合わせることで、競合企業の出店状況の把握や、観光スポットにおける観光客の動線把握、都市計画における人口滞在率など、さまざまな分析ができるようになります。

株式会社Agoop 営業企画本部 営業部 部長 福岡 慶太郎 氏は、同社が提供する流動人口データの価値について、次のように説明します。

「国勢調査のデータなどに比べて、より実態に近い人口分布を把握できる点が、流動人口データの強みです。過去データも蓄積されているので、人の流れが 1 年前と比較してどう変わったかなどもわかります。こうした『人の動きをリアルタイムに知りたい』『過去との変化を分析したい』といったニーズは、観光や都市計画、災害対策の高まりを背景に、近年増大しています。経済産業省でも 2015 年 4 月から、全国の地方自治体に関するビッグ データを集約して可視化する Web サイト『地域経済分析システム (RESAS: リーサス)』を公開しましたが、この RESAS でも、当社の流動人口データが使われています」(福岡 氏)。

たとえば RESAS の「観光マップ」では、「流動人口 (メッシュ分析)」「滞在人口 (From-to 分析)」「滞在人口率」の 3 つのデータが提供されていますが、これらはいずれも、Agoop の流動人口データがもとになっています。

さまざまな用途で用いられる流動人口データは、月に数 10 億件という規模で生成され続けます。膨大なデータを安定的に処理し続けるためには、パフォーマンスが高く、スケーラビリティに優れた基盤が必要になります。当初はオンプレミスで運用していましたが、Azure の IaaS や SQL Database を経て、最終的には Azure SQL Data Warehouse での運用に至っています。

オンプレミスからクラウドへ移行した経緯について、株式会社Agoop AIソリューション部 シニアマネージャー 松本 浩 氏は、次のように振り返ります。

「2013 年春ごろから流動人口データを扱うためのシステム開発をスタートしました。開発当初は、データの規模もそれほど大きくないため、オンプレミスの SQL Server 環境で処理していたのですが、すぐにストレージ容量が課題となりました。データが増加するたびに新しいサーバーやストレージを調達するのは現実的ではないことから、しだいにクラウドを活用した移行計画を考えるようになります。そんな中、以前から SQL Server を中心に取引のあった日本マイクロソフトから、Azure の提案を受けました」(松本 氏)。

Agoop では、既にいくつかのシステムでクラウド サービスを利用していることもあり、Azure に対しても「機能の強化や新機能の提供が早い」「信頼性が高い」といったことが同社内で評価されていました。くわえて、Azure のもつ SQL Server との高い親和性が、開発や運用にかかる工数とコストを削減できると期待し、Agoop では 2013 年 7 月にて Azure の採用を決定。同月より基盤開発に取り組み、2014 年より Azure 上でデータ処理基盤の運用をスタートさせました。

システム概要と導入の経緯、構築
運用の最適化へ向けてアップデートを重ねる中で登場した SQL Data Warehouse が、さまざまな課題を解決

2014 年より Azure 上での運用を開始した流動人口データ処理基盤は、これまでにで 3 次に及ぶ大幅なバージョン アップが行われています。

運用コストとシステム コスト、両方の削減を目的に採用された Azure でしたが、運用開始当初のバージョン 1 では、劇的な効果を生むには至らなかったといいます。バージョン 1 では、Azure の仮想マシン 上で SQL Server Enterprise エディション を稼働させ、SQL Server 上にデータを蓄積していくという構成でした。

「データを蓄積する前処理として、位置情報ログからデータを取得し正規化する管理サーバーも Azure の仮想マシンとして立ち上げて運用していました。この構成はシンプルなのですが、スケール アウトが難しく、冗長性を確保しようとすると最低でももう 1 台必要となり、単純なコストが 2 倍以上かかることが課題でした。また、そもそも IaaS を利用するため、システム バックアップなどのしくみを自前で構築する必要もあり、工数とコストを最適化するには至りませんでした」(松本 氏)。

その後、同社ではバージョン 2 として、PaaS の SQL Database を採用した構成に切り替えます。これは複数の、たとえば 5 つの SQL Database に対し、月ごとに別々の SQL Database へデータを格納することで、当時最大 500 GB しかないというストレージ容量の弱点を克服し、さらには分散処理能力の向上にも期待したものでした。これは月ごとのスケール アウトが容易であり、バックアップも Azure に任せられることで、バージョン 1 での課題はおおむね解消できる構成となりました。しかし、バージョン 2 の運用は、あらたな課題を生み出したと、松本 氏は続けます。

「バージョン 2 の弱点は、負荷分散の面ではメリットであった月ごとに分けた各データベースに対して、1 年を通した処理を行いたいなどの『月をまたがった処理』ができないことにありました。複数の月をまたいだ分析を行う場合、いったんデータを結合するなど、なんらかのしくみが必要となります。またスケール アウトが容易なのは大きなメリットなのですが、コンピュートとストレージ リソースが 1 つのサービスとして提供されているため、ストレージ単体での追加ができず、将来もし数 10 TB クラスを必要とした場合に、本来不要であるはずの CPU やメモリ リソースにまでコストがかかってくる懸念があったのです。そしてなによりも新しい大きなデメリットとなってしまったのが、データベース数の増加にともなう管理コストの増加でした」(松本 氏)。

バージョン アップごとに新たな課題が生まれてきたデータ処理基盤ですが、2015 年 4 月に発表された SQL Data Warehouse は、こうしたさまざまな課題を解決し得るものだったと、松本 氏は語ります。

「小規模データなら、仮想マシン上で SQL Server を立ち上げたり、SQL Database を利用したりすることで十分対応できます。しかし管理すべきデータが毎月数 10 億レコードに達し、それが増加し続けるようなシーンにおいては、ビッグ データ処理に重点を置いた専用のデータ ウェアハウスへの期待が高まります。Agoop では、流動人口データに対するニーズが高まるにつれて処理もデータ量も肥大化していました。そのような中で SQL Data Warehouse が発表されたことは、当社にとって大きな助け舟でした」(松本 氏)。

Agoop では、SQL Data Warehouse の限定パブリック プレビューが始まったタイミングにて採用を決定。2015 年 12 月からは、SQL Data Warehouse を採用した構成をバージョン 3 とし、運用をスタートしました。

導入製品とサービス

• Microsoft Azure SQL Data Warehouse
• Microsoft Azure Virtual Machine
• Microsoft SQL Server

導入メリット

• コンピュートとストレージが分離されているため、容量不足の際にストレージ リソースだけを増やすことができ、運用コストの削減が可能
• 管理するデータベース数が減り、バックアップ管理の工数も削減できた
• マイクロソフトの技術サポートにより短期導入が可能に
• リアルタイムのデータ提供が容易となり流動人口データを活用したビジネスの拡大に貢献した

導入の効果
コンピュートとストレージの分離により、高いコスト効果を得る

SQL Data Warehouse では、ストレージ容量だけ、もしくは処理パフォーマンスだけに特化したスケール アップとスケール ダウンが可能です。独立しているため、ストレージ容量不足を懸念する場合には、増加したストレージ リソース分だけの費用増でクリアできるのです。一方処理の面では、Agoop では通常 300 DWU にて運用していますが、高負荷が予想される場合には、一時的に 600 DWU などにスケール アップし対応しています。2000 DWU までスケール アップできるため、急激なデータの増加があっても、十分に対応可能です。

松本 氏は SQL Data Warehouse を導入した具体的な効果として、コンピュートとストレージの独立によるコスト メリットを挙げます。

「流動人口データは依然として拡大し続けており、バージョン 1 の構成はもちろん、バージョン 2 の構成でも限界がきていたことは間違いありません。2015 年 1 月時点で月間 13 億レコードだったものが、わずか 1 年後の 2016 年 1 月時点では 3 倍近い 36 億レコードにまで増大しているのです。2016 年 4 月時点で月間レコードは 53 億とさらに爆発的に増えていますが、現在では 20 TB のストレージと一時的な DWU の増減によりクリアしています」(松本 氏)。

松本 氏は続けて、管理工数を大幅に削減できたことも大きなメリットだといいます。バージョン 2 と比較すると管理するデータベース数は劇的に減っており、さらに、IaaS で構築していたバージョン 1 と比較した場合でも、冗長化やバックアップ管理の工数を削減できました。さらに、過去のバージョンでは常にストレージ容量や処理パフォーマンスを意識したシステム構想と運用が必要でしたが、SQL Data Warehouse では、それらの時間を大幅に減らすことができました。

「インフラ面を気にする必要がないため、運用面で考えるべきことはかなり軽減されました。また 1 つのデータベースに統合できたことで、1 年を通した分析効率も上がり、本来の目的であるデータ処理に集中できるようになりました。当社はそもそもシステム屋ではありません。仮想マシンの管理やインフラ基盤の管理などは本来ならかかわりたくない作業ですので、SQL Data Warehouse のような PaaS の存在は、当社にとって非常にありがたいものだったのです」(松本 氏)。

さらに、こうした効果を得るうえでは、日本マイクロソフトの手厚いサポートが大きく役立ったといいます。

「正式リリース前の限定パブリック プレビューから SQL Data Warehouse を利用させていただいたこともあり、技術面、ビジネス面で、日本マイクロソフトからは手厚い支援を受けました。サービス自体が当社にとって最適なタイミングで登場したことと、手厚い支援体制があったことで、当時存在していた多くの課題が解消できました」(松本 氏)。

今後の展望
リアルタイム性を追求し、データの付加価値も高めていく

Agoop では今後、システム面でのリアルタイム性を高めることで、サービス価値の更なる向上を進めていくことを予定しています。

「現在は分単位で位置情報ログを集計していますが、アウトプットまで考えるとどうしても時間を要してしまい、データのリアルタイム性という意味では課題が残っています。今後は、できるだけ短い時間で効果的なデータを提供できるよう検討していきます」(松本 氏)。

さらに、データの付加価値を高めることで、たとえばインバウンド客への対応強化など、データを活用できるビジネス シーンの拡大についても計画されています。

「現在は、個人を特定しないように設計しているため個人情報などは保持していませんが、今後は、匿名化の技術を維持した上で、たとえば『インバウンド客がどの観光地でどのような行動をしているか』といった分析にも活用できるような、より価値のあるデータを提供できるよう取り組んでいく予定です。どのようなログを取得することで付加価値の高いデータを生みだすことができるか、というのを自社で設計することが可能な点も、当社の強みだと考えています」(福岡 氏)。

「データの付加価値という点では、災害時の利用も注目しています。位置情報ログはユーザーがスマートフォンを利用しているかどうかの判断にも使えます。避難信号として利用できるだけでなく、人の流れを把握することで、避難状況の確認や、支援物資が行き届かない避難所の特定などにも役立てることができるでしょう。こういった流動人口データを使った新しい取り組みは、付加価値をつけたデータをタイムリーに提供できるようにすることで、さらに加速していくはずです」(松本 氏)。

流動人口データへのニーズと要件が高まるなか、SQL Data Warehouse を採用して、そこへ対応できるデータ処理基盤の整備を着実にすすめる Agoop。同社では、Azure だけでなく、蓄積されたデータの有効活用を目的として Power BI の利用も検討しています。Agoop 独自の流動人口データと、それを活用したビッグ データ ソリューションは今後、さまざまな組織の活動を支援していくでしょう。

ユーザー コメント
「インフラ面を気にする必要がないため、運用面で考えるべきことはかなり軽減されました。また 1 つのデータベースに統合できたことで、1 年を通した分析効率も上がり、本来の目的であるデータ処理に集中できるようになりました。当社はそもそもシステム屋ではありません。仮想マシンの管理やインフラ基盤の管理などは本来ならかかわりたくない作業ですので、SQL Data Warehouse のような PaaS の存在は、当社にとって非常にありがたいものだったのです」

株式会社Agoop
AIソリューション部
シニアマネージャー
松本 浩 氏

(マイナビニュース広告企画：提供 日本マイクロソフト)

マイクロソフト法人導入事例サイトはこちら

[PR]提供：