Databricks(データブリックス)は3月11日(米国時間)、自律型AIエージェント「Genie Code」を発表した。同機能はパイプライン構築、障害デバッグ、ダッシュボードの公開、本番システムの運用といった複雑なタスクを実行することができるという。

「Genie Code」の概要

現在のデータツールでは、AIはコード作成やローカルテストの実行、反復的な修正といった作業を支援する補助的な存在として扱われているため、計画、オーケストレーション、運用、検証、保守などの重要業務は依然としてデータチームが担っている。

Genie Codeは、データブリックスが提供する会話型AIアシスタント「Genie」に、新たに追加された機能。データや情報を活用して意思決定などを行う従業員が「Unity Catalog」に格納されたコンテキストや意味情報を使ってデータと自然言語でやり取りし、信頼できる回答を瞬時に得られるようにするとのこと。

  • 「Genie Code」の画面イメージ

    「Genie Code」の画面イメージ

具体的には課題を論理的に分析し、複数のステップからなる計画を立て、本番環境で利用可能な品質のコードを生成・検証し、その後の運用・保守までを担うと同時に重要な意思決定は、人間が常にコントロールできる仕組みになっている。

今回の新機能はGenieの仕組みをデータ専門職向けに拡張し、企業全体のデータを対象に、アイデアから本番環境への移行までに必要となる複雑なエンジニアリング作業を担う。また、同社はAIエージェントの評価や強化学習技術を手がけるQuotient AI(米国)を買収し、GenieとGenie Codeに継続的な評価機能を組み込むことも発表している。

「Genie Code」の主な機能

Genie Codeの主な機能は、機械学習のワークフローをエンドツーエンドで処理し、複雑な課題を分析してモデルの設計・実装・デプロイまでを実行。MLOpsプラットフォーム「MLflow」に実験ログを記録し、推論エンドポイントを最適化して高いパフォーマンスを実現するという。

また、経験の浅いエンジニアがテストデータ上で動くスクリプトを記述するのとは異なり、Genie Codeはシニアアーキテクトのような設計を行うことから、テスト環境と本番環境の違いを考慮し、変更データキャプチャ向けのワークフローを構築して、データ品質の要件を適用する。

さらに、バックグラウンドで「Lakeflow」パイプラインやAIモデルを監視し、障害のトリアージや異常の調査を行うことに加え、人間が介入する前にエージェントのトレースを自律的に分析して、ハルシネーションの修正を行い、リソース配分を最適化するとしている。

加えて、Unity Catalogと統合されたGenie Codeは、既存のガバナンスポリシーやアクセス制御を適用し、ビジネス上の意味や監査要件も理解して、外部プラットフォームのデータを含む企業データを横断的に連携するとのこと。

このような機能を持つGenie Codeは、利用する組織や部署が増えるほど進化し、永続的なメモリ機能で過去のやり取りやコーディングの好みに基づいて内部指示を自動的に更新する。同社の検証では、実際のデータサイエンスのタスクで、Genie Codeは主要なコーディングエージェントの成功率を32.1%から77.1%へと2倍以上向上させたという。