生成AIを活用する前に知っておくべき5分類のリスクとは

生成AIは便利である反面、さまざまなリスクも伴うため、正しい理解と適切な対応が重要だ。従来、生成AIのリスクは技術的リスクと社会的リスクに分類する方法が一般的であったが、東京電機大学名誉教授兼客員教授の佐々木良一氏は、より多くのリスクを網羅するため、セキュリティリスクを含めた5つのリスク群に整理している。

5月14日～15日に開催された「TECH+フォーラム ODEX併催セキュリティ 2026 May. 未来を守るセキュリティ戦略会議」に同氏が登壇。セキュリティリスクを中心に、5分類した生成AIのリスクについて詳しく説明した。

5分類で考える生成AIのリスク

講演冒頭で佐々木氏は、生成AIのリスクを一般的なものか特殊なものか、そして基礎的であるか応用的であるかの2軸で考え、5つに分類する考え方を示した。まず、一般的かつ基礎的なのがAI固有の技術的リスクで、これはAI技術者が解決すべきものだ。特殊だが基礎的なものはAIに関するセキュリティリスクで、解決するのはセキュリティ技術者である。一般的で応用的なリスクは社会的リスク、特殊で応用的なリスクは安全保障・地政学的リスクで、この2つは政治家や行政官の担当だ。そして一般から特殊までを含み応用的なリスクとなるのが、AI利用者が解決すべき運用リスクだ。

生成AIに関するリスクの5分類

AI固有の技術的リスクには、誤判断や誤動作が生じること、データの偏りのためにバイアスや差別が生じること、さらに根拠ある説明ができないというブラックボックス化の問題や、同一入力でも出力が揺れるという推論の不安定性といった問題がある。

技術的リスクとして有名なのは、実在しない情報をAIが生成してしまうハルシネーションだろう。AIはその次に来る確率の高い語を推測して出力するものであるため、学習データにない内容を補完しようとして、このようなことが起きるのだ。対策としては、RAGなど外部の信頼できる最新知識を検索させる、プロンプトエンジニアリングで根拠がなければ回答しないよう指示する、ファインチューニングで特定分野の専門データを追加学習させる、といった方法が有効だ。

社会的リスクには、翻訳者が不要になるなど雇用への影響、著作権の問題、個人データを利用することによるプライバシーの問題などがある。偽情報やディープフェイクも社会的リスクだ。単純な金儲けが目的の場合もあるが、詐欺や世論操作にも利用され始めている。

安全保障・地政学リスクとしては、自律兵器のようなAIの軍事利用、国家レベルの情報戦などが考えられる。そしてデジタル主権の問題もある。デジタル主権とは、国家や企業、個人が、他国のプラットフォームや法規制に過度に依存せずデータや技術をコントロールできる権利のことだ。例えば海外のプラットフォームに過度に依存すると、突然利用停止されると大きく不利になってしまうし、機密情報が他国の法律で差し押さえられるリスクもある。さらに外国製AIに依存することで自国の文化や言語が軽視され、文化的な偏りが生じることも懸念される。

「これらを守るために、国産のAIの開発、データ拠点の国内整備が急務となっているのです」（佐々木氏）

運用リスクについては、ガバナンスや責任が不明確であることのほか、シャドーAIも大きなリスクの1つだと言える。組織の認可を得ずに従業員が使用するシャドーAIを黙認すると、統制不能なAI依存を引き起こす可能性もあるし、勝手に使用することで機密情報が外部に流出するリスクもある。組織として管理を強化する必要があるだろう。

AIとセキュリティの4つの関係

残る1つのリスクが、セキュリティリスクだ。佐々木氏は以前から、AIとセキュリティには4つの関係があると考えており、これは生成AIでも同じだという。

AIとセキュリティの4つの関係

Security Attack using AI（AIを利用した攻撃）

1つ目は、Security Attack using AI（AIを利用した攻撃）だ。生成AIを利用すれば、プログラミングの知識がなくても攻撃用ツールをつくることができるため、攻撃者が激増しているし、攻撃用ツールは生成AIにより高度化されている。2025年7月にウクライナの行政機関を攻撃した新種のマルウェア「LAMEHUG」はその一例だ。通常のマルウェアとは異なり侵入する機能だけを持ち、攻撃用ツールは侵入後に内部の環境に適したものを動的に生成する。そのため、対象に最適な攻撃を行うことが可能であり、攻撃に利用するツールが毎回異なるため従来のウイルス対策ソフトの検知も回避してしまう。

Security Attack by AI（AI自身による攻撃）

2つ目はSecurity Attack by AI（AI自身による攻撃）だ。AIによる攻撃といえば、2045年にAIが人間能力を超越するシンギュラリティが生じるというレイ・カーツワイル氏の説が有名であり、AIの反乱を不安視する声もあるが、日本の研究者の多くはこれを否定している。研究対象は強い汎用AIではなく弱い専用AIであり、専用AIがさらに高度なAIを自動的につくることは困難であること、ロボット三原則などによって制約を与えられることなどが根拠となっている。

ただ佐々木氏は「生成AIの登場により局面は変わった」と指摘する。生成AIは汎用性が高いAIであり、プログラムを生成することができるため、反乱のリスクは高まったとも言える。例えば事前に設定した自己改良機能によりAIが人間への攻撃を思いつく可能性はあるし、事前の条件設定と矛盾する命令によってAIが混乱して攻撃を起こすことも考えられる。

「目的を持って行動する存在であるAIエージェントは今後さらに普及すると考えられます。思考・言語生成のエンジンである生成AIと組み合わされることで、AIの自律化は急速に進展します。したがって、Security Attack by AIがより重要な課題になるのです」（佐々木氏）

Security Attack to AI（AIへの攻撃）

3つ目はSecurity Attack to AI（AIへの攻撃）だ。AIの学習フェーズでは、偏った訓練データを意図的に付与するData Poisoning Attackという攻撃がある。過去には、チャットボットが悪意あるユーザーから人種差別などの不適切な言葉を教え込まれた結果、不適切な発言をするようになり、短時間で公開停止となった事例もある。AIの学習にどのようなデータを利用するかは非常に重要なのである。

一方、Prompt Injection Attackは運用フェーズにおいて、生成AIに対して悪意ある指示をするものだ。例えばAIは他者への攻撃方法を回答しないことになっているが、演習であると偽ることで規制を回避し、攻撃方法を回答させるのがこれである。また、学習モデルへのデータ入出力を分析することで、コストをかけずに同等のモデルを作成するModel Extraction Attackというものもある。

Security Measure using AI（AIを利用したセキュリティ対策）

4つ目は、Security Measure using AI（AIを利用したセキュリティ対策）で、佐々木氏の研究する、機械学習を利用した標的型攻撃用C&Cサーバの自動判別システムがその1つだ。C&Cサーバとは攻撃者が用意する攻撃の司令塔サーバを指す。従来はプロキシサーバにブラックリストを登録することでC&Cサーバにアクセスしないようにしていたが、ブラックリストにない最新のC&Cサーバには効果がない。そこでAIを用いて、ブラックリスト内のサーバと同じような特徴を持つものを導き出そうというものである。同氏によると現在のところ正答率は99.3％だといい、実用化が期待されている。

それ以外にも、ログを自然言語で要約して異常パターンを説明させたり、マルウェアの解析結果から攻撃手法やC2通信の特徴を文章化させたり、フィッシングのメール文章や添付ファイルを解析して危険性を説明させたりするなど、生成AIを活用したセキュリティ対策は幅広く検討されている。今後は、攻撃側よりも生成AIを高度に利用することで、対抗していく必要があるだろう。

「セキュリティ対策において、データが十分にあるならAIを活用するのは有効な手段です。ただしAIによる攻撃はすぐに変化するため、新しいデータを常に入手できる仕組みを持っていることが重要になります。いずれにしても、AIを活用したサイバーセキュリティ対策は、今後も重要な研究分野になっていきます」（佐々木氏）

最後に同氏は「AIのリスクは今後ますます重要になっていくので、ぜひ関心を持ち続けていただきたい」と呼びかけ、講演を結んだ。