Microsoftは2017年4月4日(以下すべて現地時間)、同社のエンタープライズ向けApache Hadoop及びSparkクラウドサービスであるAzure HDInsight 3.6がGA(一般提供版)に達したことを、公式ブログで明らかにした。Apache Spark 2.1をAzure Event Hubに統合し、Apache Kafkaの構造化ストリーミングコネクターをHDInsightに活用することで、リアルタイムストリーミングソリューションをサポートする機能を導入している。利用者はApache Sparkを使用してMicrosoft Azure上の膨大なリアルタイムイベント分析やIoTシナリオが実現可能になると、Microsoftは説明している。なお、Apache Spark 2.0.2などの旧バージョンサポートは見送られた。

Apache Hive 2.1はSQLのACID MERGEサポートをはじめとする改良によってETL(Extract Transform Load)処理を2倍に高速化。また、LLAP(Long Lived and Process) を使用したインタラクティブハイブのプレビューも含まれている。Microsoftによれば、25倍もの高速クエリ処理が可能になるという。なお、HDInsight 3.6では開発者向けのGUIを提供するHive Views 2.0も含まれており、HDInsightへのデータアップロードやテーブル定義、クエリ作成といった操作を素早く行える。今回、実行結果をグラフとして描画できるApache Zeppelin Notebookも合わせて含まれた。

Hive Views 2.0(以下すべて公式ブログより抜粋)

Apache Zeppelin Notebook

Microsoft Azureは多くの機能をプレビューとして公開し、フィードバックを基にGA化してサービスを提供している。今回のAzure HDInsightも2月28日にプレビュー版を公開していた。また、3月31日にはAzure AdvisorやAzure Monitor、Azure resource healthもGAに達したことを公式ブログで明らかにしている。

Azure Advisor

阿久津良和(Cactus)