生成AIとLLM活用のためのマネージドサービス「Snowflake Cortex」発表

lead=米Snowflakeは11月1日、技術者向けユーザーカンファレンス「SNOWDAY 2023」で、LLM・AIモデルへのアクセスを提供するマネージドサービス「Snowflake Cortex」など、さまざまな発表を行った。本稿では、同カンファレンスで行われた発表のポイントを紹介しよう。

米Snowflakeは11月1日、技術者向けユーザーカンファレンス「SNOWDAY 2023」で、さまざまな発表を行った。今回、Snowflake 執行役員セールスエンジニアリング統括本部長井口和弘氏から、同カンファレンスで行われた発表について説明を受ける機会を得たので、本稿では、新発表のポイントを紹介しよう。

Snowflake 執行役員セールスエンジニアリング統括本部長井口和弘氏

データ基盤の機能拡張

データクラウドのコアの機能となるのがデータ基盤だ。Snowflakeはイノベーションのテーマの一つに「データ基盤の簡素化」を据えている。今回、これを実現する機能拡張が発表された。

Icebergテーブルのサポート（近日中にパブリックプレビュー開始）

Icebergテーブルをサポートすることで、事前に取り込みを行うことなく、SnowflakeでApache Iceberg形式で外部に保存されているデータを扱えるようになる。

テーブルデータは、ユーザーのオブジェクトストレージにApache Iceberg形式およびParquet形式で保存されるほか、カタログ実装のオプションもある。メタデータは、Snowflakeと外部のどちらで管理するかを選択可能。

井口氏はIcebergテーブルのメリットについて、次のように説明した。

「Icebergテーブルをデータレイクとして使うと、Snowflakeにデータを取り込まないといけない。しかし、Snowflakeのコンピュートとしてではなく、Icebergテーブルにデータを格納すれば、ネイティブフォーマットと変わらず、コストと管理の課題を解消できる」

コスト管理インタフェース（プライベートプレビュー中）

従量課金制のクラウドサービスを利用する際の懸念の一つがコストだ。利用している状況を把握しておかないと、請求時に驚くほどの金額に達している可能性がある。

そこでSnowflakeでは、費用の可視化・制御・最適化を行える単一のインタフェースを提供する。具体的には、アカウントレベルでの使用状況と費用のメトリクスが可視化されるほか、Snowflakeクレジットの効果値の長期的な変化も確認できる。限値や通知を設定して費用をコントロールすることも可能だ。

Snowflake Horizon

データクラウドにおいて、コンプライアンス、セキュリティ、プライバシー、相互運用性、アクセスに関する機能群「Snowflake Horizon」も発表された。井口氏は、コンプライアンスに関する機能「Snowflake Trust Center」とガバナンスに関する機能「データ品質メトリクス」を紹介した。

Snowflake Trust Centerは、クロスクラウドなセキュリティのモニタリングを統合管理できるツール。Snowflakeアカウントをスキャンして、CIS Snowflake Foundation Benchmarkに基づいてセキュリティ違反を検知する。

データ品質メトリクスは、データ品質をモニタリングするためのツール。同ツールでは、事前に定義されたメトリクスに加えて、独自のメトリクスを定義して、それらを測定・記録して、レポート作成、アラート通知、デバッグに活用できる。

データ基盤の簡素化に関する機能拡張

AI活用の加速 - Snowflake Cortex発表

2つ目のイノベーションのテーマが「AI活用の加速」だ。SnowflakeはAIの活用により、「企業全体にわたり、MLモデルの開発、運用化、利用の簡素化とスケーリングを実現すること」「開発者がなじみのあるエクスペリエンスでAIとLLMを活用できること」「すべてのユーザーが、生成AIを使用して迅速かつ安全に企業データから価値を得られるようになること」を目指している。

SNOWDAYにおける、AI活用に関する発表の目玉として、生成AIとLLM活用のためのフルマネージドサービス「Snowflake Cortex」（（プライベートプレビュー中））が紹介された。同サービスは、LLM（大規模言語モデル）、AIモデル、ベクトル検索機能へのアクセスを可能にする。

同サービスは、SQL/Pythonコードの関数呼び出しで利用できるサーバーレス関数を提供する。提供される関数は「専門関数」「汎用関数」の2種類だ。

「専門関数」は、非構造化テキストの分析、および予測分析に最適な、サーバーレスのSQL/Python関数だ。入力されたテキストについて、センチメントの検出、回答の抽出、テキストの要約、選択された言語への翻訳を行える。

「Snowflake Cortex」が提供する専門関数

「汎用関数」は、会話型LLMでの推論やベクトル検索を実行できる、サーバーレスのSQL/Python関数。Llama 2モデルなどのオープンソースLLM（プライベートプレビュー中）やテキストからSQLへの変換モデルなどの高性能なSnowflake LLM（近日中にプライベートプレビュー）を使用する。

通常、Llamaなどのオープンソースのモデルを利用する場合、実行環境を作らなければいけないが、「Snowflake Cortex」を使えばそれが不要。

Snowflake Cortexを活用することで、LLMを用いてSQLで問い合わせを行い、その結果をグラフとしてStreamlitで視覚化するようなアプリケーションを開発することができる。

Snowflake Cortexを基盤として構築された機能としては、「Document AI」「Snowflake Copilot」「ユニバーサル検索」がある。「Document AI」は、Snowflakeが開発したビルトインのLLMにより、ドキュメントからコンテンツを簡単に抽出することを可能にする。

「Snowflake Copilot」は、SnowflakeのLLMを活用したアシスタント。自然言語からSQLを生成し、会話を通じてクエリを調整できる。

「ユニバーサル検索」では、データベース、ビュー、Icebergテーブルを含むSnowflakeアカウント全体と、Snowflakeマーケットプレイスで入手可能なデータやSnowflakeネイティブアプリの両方にまたがった検索が可能。