Databricksは、6月9日～12日の日程で米サンフランシスコにおいて年次イベント「Data + AI Summit」を開催。2日目の基調講演には、サンフランシスコ市長のダニエル・ルーリー氏が登壇し「Databricksのような企業による投資やカンファレンスの開催が街に勢いをもたらし、サンフランシスコが未来を形作る場所であることを示している」と、市に戻ってきた楽観的な空気について語った。これに応え、Databricks CEOのアリ・ゴディシ氏はサンフランシスコへの強い期待を示し、今後5年間、同地でSummitを開催し続けることを約束した。
-
左からDatabricks 創業者兼CEO アリ・ゴディシ氏、サンフランシスコ市長のダニエル・ルーリー氏
Microsoft、Google Cloudとの連携を深化、AzureとGeminiをネイティブ統合
Databricksは、Microsoftとの長年にわたるパートナーシップを2030年代まで延長し、より深くコミットしていくことを発表した。基調講演には、Microsoft CEOのサティア・ナデラ氏がビデオで登場した。
-
Microsoft CEOのサティア・ナデラ氏
ナデラ氏は、Databricksとの8年間にわたるパートナーシップの成果を称賛し、AIの進化が驚異的なペースで進んでいると指摘した。AIが単なるチャット相手から、自律的に機能する「デジタルコワーカー」へと進化していることに言及。企業や開発者は両社が構築するプラットフォーム上でアプリケーションを構築できることが重要であると強調した。
Azure DatabricksはMicrosoftのファーストパーティサービスであり、Azure AI Foundry、Microsoft Power Platform、SAP on Azureなどを含むAzureエコシステム全体との深い統合を継続し、データ連携と価値の提供を加速させる。
ゴディシ氏は「あらゆるアプリケーションがインテリジェントになり、あらゆるビジネスがデータ駆動型になる新時代において、Microsoftとの協業は不可欠だ」という。両社は、統一され、オープンでガバナンスの効いたデータ・AIプラットフォームを通じて、組織の迅速なイノベーションを長期的に支援していく。
さらに、DatabricksはGoogle Cloudとの新たな戦略的AIパートナーシップも発表した。これにより、最新のGeminiモデルがDatabricks Data Intelligence Platformのネイティブプロダクトとして利用可能となる。
Google Cloud CEOのトマス・クリアン氏もビデオで登場し、Geminiがデータのクレンジング、理解、データサイエンスや分析の支援に活用でき、Geminiの高度な推論機能とツール選択能力がDatabricksの顧客にとって極めて重要であると強調した。Databricksの顧客は、Geminiを直接SQLクエリやモデルエンドポイントを通じて利用でき、データ重複や統合の必要がないため、シームレスな体験が可能となる。
-
Google Cloud CEOのトマス・クリアン氏
このパートナーシップは、企業がGeminiモデルをDatabricks環境内で安全に利用できることを示す。統一されたガバナンスで、独自のデータに基づいてドメイン固有のAIエージェントを構築・展開・スケーリングすることを可能にする。
クリアン氏はまた、Googleが推進するエージェント間の相互運用性にも言及した。これは、Google Cloudが先頃発表したオープンな共通規格「Google A2A(Agent2Agent)」プロトコルによるもので、異なるベンダーやフレームワークで構築されたAIエージェント同士が安全に情報交換し、協調してアクションを実行可能にする。これにより、企業はさまざまなテクノロジープロバイダーのエージェントを連携させ、新たな価値を創出できるよう支援する。
Unity Catalogが進化、Apache Icebergを全面サポートしオープン性を拡大
データガバナンス層であるUnity Catalogでは、Apache Icebergテーブルの全面的なサポートが発表された。これにより、Unity CatalogはあらゆるIceberg互換エンジンからの読み書きをガバナンス付きでサポートするオープンなカタログとなる。Databricks内だけでなく、Trino、Snowflake、Amazon EMRといった外部エンジンからアクセスされるIcebergテーブルにも、統一されたガバナンスとポリシーを適用できる。
-
「Unity Catalog」では、Apache Icebergテーブルの全面的なサポートが発表された
さらに、Unity CatalogのLakehouse Federation機能で、外部カタログで管理されているIcebergテーブルへのシームレスなアクセスが可能となり、Delta SharingエコシステムのメリットもIcebergテーブルで利用できるようになった。これにより、フォーマットによるデータサイロが解消され、オープンなエンタープライズカタログが実現される。
また、Unity Catalogはビジネスユーザー向けにも拡張された。ビジネスメトリクスとKPIをデータアセットとして定義できる「Unity Catalog Metrics」が一般提供される。これにより、BIツール内に埋め込まれがちだったメトリクス定義がデータプラットフォームに集約でき、組織全体でビジネスパフォーマンスの管理ができる一元化できる。
煩雑なデータパイプラインに終止符、統合ツール「Lakeflow」が一般提供開始
Databricksは、データチームが直面するツールスタックの断片化という課題に対処するため、「Lakeflow」の一般提供を開始した。Lakeflowは、データ取り込み、変換、オーケストレーションというデータエンジニアリングに必要な3つの機能を提供する。
データ取り込みを担う「Lakeflow Connect」は、クリック操作でデータをDatabricksに直接取り込めるシンプルなUIとAPIを提供する。多数のエンタープライズアプリケーションに対応するコネクタが追加され、顧客は85%もの開発時間短縮を実現している。
さらに、大量のイベントデータをUnity Catalogに直接書き込める「Zerobus」が発表された。これは、Kafkaのようなメッセージバスの複雑なインフラ管理を不要にし、高スループットと5秒以下の低レイテンシでほぼリアルタイムの取り込みを可能にする。
データ変換を担う「Lakeflow Declarative Pipelines」は、既存のDelta Live Tablesの進化形で互換性を維持したまま、Apache Sparkにオープンソース化されることが発表された。これにより、ベンダーロックインがなくなり、Sparkエコシステム全体を活用できるオープンな標準となる。
Lakeflow Declarative Pipelinesには、変更データキャプチャを1行のコードで実現する機能や、データ変更を自動検出し処理を最小限に抑える「Enzymeエンジン」による自動増分ETLが含まれる。
本番ワークフローの調整を担う「Lakeflow Jobs」は、Power BI、DBT Labs、Snowflakeといった多くの外部ツールを統合管理できる。これにより、データエンジニアはインフラ管理から解放され、ビジネスロジックの記述に集中できるようになる。
レガシーDWHからの脱却を支援、Databricks SQLと無料移行ツール「Lakebridge」
Databricksの共同創業者であるアーサラン・タバコリー(Arsalan Tavakoli)氏は、なぜ多くの企業がDatabricks SQLを選択しているのかについて、3つの主要な理由を述べた。1つ目の「オープン性」は、100%オープンなデータフォーマット、オープンなカタログ、そしてオープンなエコシステムにより構築されていると説明した。
-
Databricks 共同創業者のアーサラン・タバコリー(Arsalan Tavakoli)氏
2つ目の「データインテリジェンスプラットフォームとの統合」は、Unity Catalogとのネイティブ統合、SQLから直接あらゆるLLMを活用できる機能、ホスト型MCP(Model Context Protocol)サーバ、高速なバッチ推論などにより、AI機能をデータに適用する能力を高める。また、イベント初日に発表されたトランザクションデータベース「Lakebase」とのリアルタイム同期により、アプリケーションデータと分析データの両方をDatabricks SQLからシームレスに利用できる。
3つ目の「最も低いTCO(総所有コスト)」は、クエリパターンとデータに対するAIモデルに基づいた自動統計、自動ファイルサイズ調整、自動リキッドクラスタリングなどの「自動機能」により実現され、これらが大幅なパフォーマンス向上とストレージコストの削減につながると主張する。
-
Databricksは創業以来オープン性を重視している
企業がレガシーなデータウェアハウス(DWH)からモダンなレイクハウスに移行する際の課題を解決するために、「Lakebridge」という移行ツールも発表された。これはTeradata、Snowflake、Amazon Redshift、Microsoft SQL Serverなど、20以上のレガシーソースシステムからDatabricks SQLへのDWHの移行を簡素化するソリューションを提供するBladeBlidgeの技術をもとにしたものだ。
新UI「Databricks One」と次世代AIアシスタント「Genie」
Databricksは、データとAIの民主化をさらに進めるため、ビジネスユーザー向けに設計された新しい体験となる「Databricks One」を発表した。Databricks Oneは、AI/BIダッシュボード、AI/BI Genie、カスタム構築されたDatabricks Appsに、シンプルかつ安全にアクセスできるコード不要の直感的な環境を提供する。
ゴディシ氏は「スキルレベルにかかわらず、誰もがデータとAIを平等に扱えるべきだ」と述べ、Databricks Oneが非技術者にも技術者と同様の優れた体験を提供する第一歩になると強調した。
AI/BIダッシュボードは、高速で美しいビジュアライゼーションを提供し、予測(AI forecasting)や主要ドライバー分析（AI top drivers）といった高度な分析機能をコードなしで利用できる。
また、Genieは従来のBIツールの限界を超え、ダッシュボードが答えられない質問に対して、エージェントを裏側で活用してSQLを生成し、質問に回答できるようになる。Genieに「Deep Researchモード」が導入されることも明らかにした。
これは、LLM(大規模言語モデル)の推論能力とGenieの内部知識ストアを活用し、「次の四半期目標を達成するにはどうすればよいか？」のような曖昧で複雑な推論を要する質問に対応できるようにするものだ。Genieは、分析計画を提示し、複数のサブステップを並行して実行し、結果を要約する。それとともに、導き出された結論の根拠となる引用元を提示する。
Databricks Data + AI Summit 2025は、データとAIの民主化を加速させる同社の戦略を明確に示す場となった。MicrosoftやGoogle Cloudとのパートナーシップ強化は、AI導入を促進する上でオープン性と統合がいかに重要かを示している。今回の一連の発表は、DatabricksがクラウドDWHやデータレイクではなく、「データとAIの会社」であることを改めて強く印象づけた。
軍事とIT 第615回 DSEI Japan(5)サーブのレーザー警報受信機
