New Relicがオブザーバビリティ予測レポートとAIアプリ向けの新機能を発表

New Relicは12月6日、年次のオブザーバビリティ予測レポート「2023 オブザーバビリティ予測レポート」とAIアプリケーション向けの新機能「New Relic AI Monitoring」に関する説明会をオンラインで開催した。

グローバルと比較して日本は復旧に時間、コストを要している

オブザーバビリティ(可観測性)とは、システムのメトリクスやイベント、ログ、トレースのデータをリアルタイムに取得し、常にシステム全容の状態把握と改善ができる状態にすること。

New Relic 副社長の宮本義敬氏はレポートについて「通信や製造、流通、金融をはじめ、全業種を対象としており、企業規模は大企業だけでなく、中小企業も含まれている。世の中に対するオブザーバビリティに対する関心について調査した」と説明した。

New Relic 副社長の宮本義敬氏

日本を含むアジア太平洋、ヨーロッパ、北米にわたる15カ国の技術プロフェッショナル1700人を対象に調査を行い、回答者の内訳は実務担当者1100人、ITの意思決定者600人となる。

オブザーバビリティの現状や成長領域に加え、オブザーバビリティへの投資や導入に影響を与える外部要因について調査し、ビジネスに影響を与えるシステム停止の頻度、平均検出時間、平均復旧時間、停止コストといったサービスレベル指標についてベンチマーク評価も行っている。

これによるとオブザーバビリティの導入が増加しており、フルスタックのオブザーバビリティの実装がシステム停止の頻度の減少、検知・復旧時間の短縮、ダウンタイムコストの削減など、サービスレベル指標の向上につながることなどを明らかにしている。

主な結果として、回答者の32%が週1回以上、重大障害が発生したと回答するとともに、ビジネスインパクトの大きいシステム停止に伴うコストとして、1時間あたり50万ドル以上のコストがかかると回答。年間停止コストの中央値は775万ドルだが、フルスタックオブザーバビリティを実装している企業は、そうでない企業よりもシステム停止コストの中央値が37%低くなっている。

世界のシステム停止頻度とビジネスへの影響

宮本氏は「重大な障害が大きなインパクトを与えている状況で、グローバルにおいてオブザーバビリティの導入が進んでいる。昨年と比較して、機能別で見ればセキュリティやインフラストラクチャは過半数の50%程度だったが、現在では70%を超える状況となっている。ただ、課題も見受けられ、インフラだけでなく、アプリケーションやクライアント、AIなど、新しい機能への導入が追い付いておらず、フルスタックのオブザーバビリティが拡大しているかと言えば、まだまだな状況」と述べた。

大多数の組織ではまだ技術スタックを完全には観測していないものの、状況は変わりつつあるとのこと。回答者の82%以上が2026年半ばまでに17の異なるオブザーバビリティ機能をそれぞれ導入すると予想。8割以上の組織が3年以内に堅牢なオブザーバビリティの実践を導入する可能性があり、業界の成長の可能性が示唆されている。

また、レポートの重要なポイントの1つとして、フルスタックのオブザーバビリティを実装した組織は、サービスレベル指標、特にシステム停止の平均検出時間(MTTD)と平均復旧時間(MTTR)を改善し、投資を最大限に活用していることが挙げられるという。フルスタックのオブザーバビリティを実現している回答者は、MTTDとMTTRが最も短い傾向となった。日本にフォーカスすれば、重大障害発生した企業の割合はグローバルと比較して相対的に低い24%ではあるが復旧に時間を要しており、年間の機会損失もグローバルの775万ドルに対して、1471万ドル(約22億円)と約2倍の数値となっている。

障害の発生は少ないものの、日本は復旧時間とそれに伴う損失が大きい

日本企業が復旧に時間を要する原因について宮本氏は「障害検知手段として、グローバルではツールを導入して自動化している割合が73%だが、日本企業は59.2%となっており、手動での対応はグローバルが25.4%に対して、36%のため復旧に時間がかかっている。ログ管理に対してオブザーバビリティの導入がグローバルと比較して日本は多く、これはマニュアルを見て手動で対応している証左だ」との見解を示した。

障害検知の自動化もしているが、グローバルと比較すると日本は手動が多い

とはいえ、日本におけるオブザーバビリティの導入意欲が高まっており、2023年はデジタルネイティブな企業だけでなく、製造業や金融業などからの引き合いがあるという。同氏は「日本では2024年がオブザーバビリティの元年になるのではないか。機能別では軒並み70～80%の導入意欲がある」とのことだ。

加えて、ほぼ半数(49%)がセキュリティへの関心の高まりでオブザーバビリティのニーズが高まっていることを示し、次いで「ビジネスアプリケーションのワークフローへの統合」と「AI技術の活用」が続いた。一方、日本における課題の1位は「エンジニアの技術不足」、続いて「予算確保」「技術のサイロ化」となり、ニーズを促進するトレンドは「AI技術の活用」「マルチクラウド環境への移行」「セキュリティガバナンス」の順となった。

グローバルと日本における課題と、オブザーバビリティを促進するトレンドの順位

AIアプリケーション向けの新機能とエンジニア人材の育成

新機能「New Relic AI Monitoring(AIM)」は、AIアプリケーション向けのAPM(Application Performance Management：アプリケーションパフォーマンス管理)ソリューション。

AIアプリケーションのパフォーマンスや品質、コスト、AIの使用に関するトラブルシュートや最適化を容易にし、LLM(大規模言語モデル)の応答のトレース、モデル比較など50以上のインテグレーションと機能が用意しており、エンジニアチームがLLMベースのアプリケーションを確実に構築し、実行できるように支援するという。

New Relic 執行役員CTOの松本大樹氏は「レポートでも言及されていたように日本の課題は人材教育であり、AIを契機にオブザーバビリティを導入したいと考えていることから、AIMを提供するとともに、オブザーバビリティエンジニア人材の育成を加速させる」と力を込める。

New Relic 執行役員CTOの松本大樹氏

AIMの特徴は、New RelicエージェントにAIMが組み込まれているため利用開始が容易なほか、アプリケーションからインフラ、AIレイヤまでフルスタックで可視化し、問題解決の迅速化が図れるという。

また、LangChainなどのツールで構築された複雑なLLM応答のライフサイクルを追跡し、バイアス、有害性、幻覚症状などのパフォーマンスの問題や品質問題を修正でき、すべてのAIモデルの使用状況、パフォーマンス、品質、コストを単一ビューで追跡。よく使われるプロンプト、思考の連鎖(Chain of Thought)、プロンプトのテンプレートやキャッシュに関する洞察によりAIの使用を最適化を可能としている。

50以上のインテグレーションをサポートし、あらゆるAIエコシステムのスタック全体を監視し、オーケストレーションフレームワークはLangChain、LLMはOpenAI、PaLM2、HuggingFace、機械学習ライブラリはPytorch、TensorFlow、機械学習サービスはAmazon SageMaker、AzureML、ベクトルデータベースはPinecone、Weaviate、Milvus、FAISS、AIインフラストラクチャAzure、AWS、GCPにそれぞれ対応。

「New Relic AI Monitoring(AIM)」の概要

New Relic コンサルティング部兼製品技術部部長の齊藤恒太氏は「AIアプリケーションの課題であるパフォーマンスチューニングやコスト管理、品質管理、コンプライアンスを遵守できる」と、そのメリットを説いた。

New Relic コンサルティング部兼製品技術部部長の齊藤恒太氏

AIアプリケーションの全体をAIMでは包括する

一方、オブザーバビリティエンジニア人材については、日本法人の発足当初から日本のオブザーバビリティの民主化に取り組み、2025年に利用者規模5万人を目標に掲げている。

2025年までにNew Relicの利用者規模5万人を目指している

具体的には施策は、オブザーバビリティのノウハウを持つパートナーの認定エンジニアの紹介やユーザーグループ「NRUG(ぬるぐ)」の提起開催、SRENext、ISUCONといったコミュニティ活動に対して、技術情報の提供や登壇、スポンサーシップなどを実施。さらには、公式New Relic認定試験の日本語版をリリースし、オンラインのハンズオンであるNRU(New Relic University)の提起開催、改訂した書籍New Relic実践入門を刊行。

そして、日本初のオブザーバビリティに特化し、日本のチームが開発したゲーム化されたリスクのない環境でNew Relicを用いてシステム分析やトラブルシューティング対応を行う実践的な訓練「O11y Gameday」を開催している。