スノーフレイク、トレードオフのないAI/MLの活用を実現する新機能を紹介

Snowflakeは9月8日、プライベートイベント「DATA CLOUD WORLD TOUR」を開催した。基調講演では、米Snowflake プロダクト担当上級副社長 (SVP) Christian Kleinerman氏が、今年6月に米国ラスベガスで開催した年次イベント「Snowflake Summit 2023」で行われた主要な発表について説明した

米Snowflake プロダクト担当上級副社長 (SVP) Christian Kleinerman氏

Kleinerman氏は、「シングルプラットフォーム」「デプロイ、ディストリビュート、マネタイズ」「トレードオフのないAI/MLの提供」という3つの視点から、説明を行った。

シングルプラットフォーム

「シングルプラットフォーム」を拡張するための新たな施策として、「Snowflakeパフォーマンス指数」が紹介された。これは過去12カ月のスノーフレイクのパフォーマンスと経済性を表す指数であり、これを測定して、顧客に公開しているという。

Kleinerman氏は、顧客がリソースをうまく活用して投資対効果を上げてもらうことに注力しており、そのために、可視性、制御、最適化に取り組んでいると説明した。

例えば、可視性を実現する例として、ターゲットの予算を作るとモニタリングできるようになることが紹介された。コストと同様、ウェアハウスの使用状況も見ることができる。

また、データクラウドの価値をIcebergデータに拡張するための取り組みとして、Icebergテーブルが紹介された。IcebergテーブルはメタデータをIceberg形式で管理するもので、Icebergデータが顧客のストレージに可読の形式で格納される。

Kleinerman氏は、Icebergテーブルについて、「データレイクについて既存のストラテジーがある大手の企業に対し、現状に合わせた選択肢を提供できる」と説明した。

シングルプラットフォームにおけるポイントの一つに、AIと機械学習（ML）のシンプルな利用があり、それを実現する新機能として、「Document AI」が紹介された。これは、自然言語処理を用いて、組織がスムーズに文書の持つ価値を理解し抽出することを可能にするもの。2022年9月に買収したApplicaの用途特化型マルチモデルLLMを活用している。

デプロイ、ディストリビュート、マネタイズ

Kleinerman氏は、「デプロイ、ディストリビュート、マネタイズ」が同社のイノベーションの第2章だと説明した。同社は、自社のデータを販売したり、他社のデータを購入したりすることができる場として、Snowflakeマーケットプレイスを提供している。

「Snowflake Summit 2023」では、Snowflakeマーケットプレイスで25種類以上のSnowflakeネイティブアプリケーションが利用可能になったことが発表された。ここでは、アプリケーションにデータを持っていくわけではないことが重要だという。

あわせて、Snowflakeネイティブアプリケーションの構築と評価を行う開発者向けに、配布機能や収益化機能を備えたSnowflakeのネイティブアプリケーションフレームワークも発表された。

これらを活用することで、「ユーザーは新たな収益源を確保できる」とKleinerman氏は語った。

トレードオフのないAI/MLの提供

Kleinerman氏は、AI/MLについて「セキュリティやプライバシーに妥協したくない」と語り、同社がセキュリティやプライバシーを確保しつつも、パフォーマンスも追及している姿勢を示した。

その解の一つがSnowparkだ。SnowparkはSnowflake向けの開発フレームワークで、PythonやJava、Scalaといったプログラミング言語にネイティブで対応している。同社の顧客の30％がSnowparkを利用しており、1日当たり1000万件以上のクエリが実行されているという。

「Snowflake Summit 2023」では、MLの開発や実行に対するSnowparkの拡張が発表された。Kleinerman氏は、「MLの開発をシンプルにしてほしいというフィードバックをもらっているので、そのライフサイクルをシンプルにしようとしている」と語った。

具体的には、効率的なモデル開発のため「Snowpark ML API」、スケーラブルなMLOpsのための「Snowparkモデルレジストリ」、モデルをインタラクティブアプリに転換するためのSnowflakeへのStreamlit統合が発表された。

「モデルを学習させた後、どうしたらいいかわからないという話を聞く。Snowparkモデルレジストリを使えば、バージョンをつけてモデルを管理してデプロイすることが可能になり、開発運用のサイクルを閉じることができる。また、MLの課題に、ビジネスユーザーに使ってもらうのが難しいことがある。この課題解決に向けて、Streamlitを提供する」（Kleinerman氏）

さらに、Kleinerman氏はSnowParkコンテナサービスを紹介した。同サービスは、Dockerコンテナをスノーフレイク上で実行できるようにするもの。「Snowflake Summit 2023」で、同サービスのリリースによるSnowparkの機能拡張により、NVIDIA GPUやAIソフトウェアを用いたアクセラレーテッドコンピューティングなどのオプションを利用して、AIやMLモデル、API、社内開発アプリケーションなどのワークロードを実行可能になることが発表された。

Snowparkコンテナサービスで利用できるAI/ML、データベース、アプリケーション、カスタム言語、GPU、オーケストレーション

また、Kleinerman氏は、LLMをプラットフォームとして、大規模な言語モデルを開発できるようにしていることを紹介した。この仕組みにより、オープンソースに商用と、ユーザーは好きなLLMを利用できる。

「Snowflake Summit 2023」では、NVIDIAとの協業が発表された。これにより、SnowflakeはLLM開発用のNVIDIA NeMoプラットフォームとNVIDIA GPUをベースにしたアクセラレーテッドコンピューティングを用いて、高度な生成AIサービスのためのカスタムLLMをSnowflakeアカウント内のデータを活用して安全に作成することを可能にする。