OWASP Top 10 for LLM Applicationsから見る、LLMにおけるセキュリティリスクとは

加熱する生成AIブームのなか、自然言語処理に欠かせないLLM（Large Language Models、大規模言語モデル）に注目が集まっている。LLMを用いたアプリケーションを構築する開発者にとって気掛かりなのはセキュリティだろう。

本稿では、EGセキュアソリューションズ 取締役 CTO / 情報処理推進機構（IPA）非常勤研究員 / 技術士（情報工学部門）の徳丸浩氏に、「OWASP Top 10 for LLM Applications」のなかからとくに注意すべきリスクやその対策について、話を伺った。

• 

  EGセキュアソリューションズ 取締役 CTO / 情報処理推進機構（IPA）非常勤研究員 / 技術士（情報工学部門）の徳丸浩氏

OWASP Top 10 for LLM Applicationsとは

OWASP Top 10 for LLM ApplicationsはOWASP（Open Worldwide Application Security Project）が発表する、LLMを使ったアプリケーション開発におけるセキュリティリスクの上位10項目をまとめたレポートである。現在の最新版は2025年版で、10の項目は以下のとおりだ。

・プロンプトインジェクション

・機密情報の漏えい

・サプライチェーン

・データとモデルのポイズニング

・不適切な出力処理

・過剰なエージェンシー

・システムプロンプトの漏えい

・ベクターおよび埋め込みの脆弱性

・誤情報

・無制限な消費

このなかから、徳丸氏が注目したのは「プロンプトインジェクション」「機密情報の漏えい」「過剰なエージェンシー」「誤情報」「無制限な消費」の5項目である。ここからはその詳細を見ていこう。

• 

プロンプトインジェクション

「プロンプトインジェクション」とは、その名のとおり、AIを用いたアプリケーションに入力するプロンプト（指示・命令）によって、開発者が意図していない情報が出力されるサイバー攻撃・事象を指す。ユーザーによる入力そのものが予想外の出力を生む「直接プロンプトインジェクション」と、Webサイトなどの外部ソースをAIに参照させる場合に、外部ソースに誤った情報が混入して想定外の出力となる「間接プロンプトインジェクション」がある。

徳丸氏はプロンプトインジェクションが注意すべき脅威に挙げられた要因の1つとして、「生成AIの多くはセキュリティを考慮した出力制限が設けられているものの、さまざまな用途で使用できるよう汎用的につくられていることから、指示の仕方によっては悪用できてしまう」という点を指摘した。

これに対する策としてOWASP Top 10 for LLM Applicationsは、「モデルの挙動を制限する」「期待される出力形式を定義し、検証する」などの7項目を示している。同氏はそれらを踏まえ、具体的にできる策として「入力できる文字数を制限するというのも1つ」だと述べた。

機密情報の漏えい

「機密情報の漏えい」について徳丸氏は「これは多くの人が気にする点」だとしたうえで、アプリケーション自体に含まれる機密情報が漏れる、他の社内システムで使っている情報が洩れる、APIで連携した他のアプリケーションに存在する機密情報が洩れるといった、さまざまなパターンが考えられると述べた。

機密情報の漏えいへの対策については「万全にするのは難しい」と同氏は言う。例えば、「AIに個人情報を読み込ませることは避けるべきであるものの、一部のカスタマー情報などをAIに読み込ませて活用するシーンがあることも事実だ」とした。

OWASP Top 10 for LLM Applicationsの対策としては、トレーニングに使用するデータからセンシティブな情報を排除する「サニタイズ（情報洗浄）」、データへのアクセス権を制御する「アクセス制御」、ユーザーの教育などが挙げられている。基本的な対策にはなるが、一般的なセキュリティと同様、おろそかにしないことが大事だ。

過剰なエージェンシー

「エージェンシー」とは、AIが単に情報を返すのではなく、ユーザーに代わって外部の機能やシステムを呼び出すなど、より広い目的を達成するためにAIが働くようなケースを指す。「過剰なエージェンシー」では、悪意のあるなしにかかわらず、本来は不要な処理を行い、有害な結果を招くリスクを指摘している。

徳丸氏は「AIが何かしらの機能を実行するという点には、少し懸念がある」と話す。

「例えば、特にソフトウェア開発においてAIが活発に利用されていますが、AIがプログラムを出力するだけでなく、プログラムをリポジトリに移して、ビルドしたり、テストしたり、デプロイしたりと、人間がやっていた作業も任せるような施策が定着しつつあります。しかし、一方では、X（旧Twitter）などでは、エージェントが重要なフォルダ削除や、git上の不適切な操作により、回復できないエラーを起こしたとの報告もあります。

これまでほとんどのAIは、『コパイロット（Copilot）』すなわち『副機長』という位置づけで、機長である『人』へのアドバイス係として利用されてきました。しかし、エージェンシーとしての利用が進むと、今後はAIが機長、人がコパイロットという関係になるかもしれないわけですね。主体性がAIに移っていくので、AIに過剰な機能や権限を持たせることは大きなセキュリティリスクにつながります」（徳丸氏）

誤情報

「誤情報」はハルシネーションと言われる現象を指す。「AIが誤った情報を出力することがある前提で使用すべきだ」と徳丸氏は言う。

例えば、AIでプログラムを出力する際にも、安全ではないコードになることが考えられる。学習に使われたデータ次第では、AIが古いバージョンのライブラリを使用するコードを示したり、基本的な脆弱性を残したコードを示したりする可能性があるのだ。

この対策として同氏は「（AIの出力を）鵜呑みにしないで、きちんとチェックすることが重要。RAG（検索拡張生成）を利用し、“べからず集”のようなものを読み込ませて出力するのも効果的」だとした。

また、これまでのリスクにも共通するが、誤情報が含まれないか、あるいは、意図しない出力になっていないか、機密情報が漏えいしていないかなどを、ユーザーに提示する前にAIに監視させる対策も考えられる。ただし、徳丸氏は「出力のチェックにおいてAIを使うのは悪いことではないが、そこを通ったらOKだと判断して良いかは別の問題。いずれにせよ、AIの回答を鵜呑みにしないことが大切」だと話した。

無駄な消費

「これは現実的で、非常に大切」だと徳丸氏が話すのが、「無駄な消費」だ。

多くのAI（LLM）の利用は、「トークン」と呼ばれる、AIが内部で処理する文章の単位に応じて課金される。特にAIをAPIによって利用する際には、入力・出力に生じたトークンが計測され、後日費用を請求されるケースが一般的だ。

したがって、ユーザーに対してありとあらゆるAI利用を許可していれば、課金額が膨らんでいくことは明らかだ。また、何かしらのサイバー攻撃を受け、財政破綻（Denial of Walle：ウォレット拒否）を引き起こす可能性もある。

「無駄なAI利用が生じないように設計することはもちろん、今、どのくらい課金されているのかを適度に監視・確認しておくべきでしょう」（徳丸氏）

*　*　*

生成AIの爆発的なブームに伴い、多くの企業でLLMを活用されているが、そこに常にセキュリティリスクが存在していることを忘れてはいけない。LLMを用いたアプリケーションを開発する際には、OWASP Top 10 for LLM Applicationsも参考にしてほしい。

•