生成AIで広がる「攻撃対象領域」どう守る？ マイクロソフト流レジリエンス強化術

生成AIの利用時に企業が懸念する3つのセキュリティ課題

村田氏はまず、生成AIを利用するうえで企業が懸念しているセキュリティ課題は大きく分けて3つあると指摘しました。

第1の課題は、「データの過剰共有とデータ漏洩」です。生成AIの導入をきっかけに、本来ならアクセスを許可すべきではない従業員に、その権限が与えられた状態だったことが判明した、という事例も確認されているといいます。こうした過剰な共有はただでさえ問題ですが、生成AIによって様々な情報にアクセスしやすくなる状況が生まれると、データ漏洩のリスクはいっそう大きくなってしまいます。

第2の課題は「AIによる新たなリスクと脅威」です。後述するプロンプトインジェクションを中心に、新たな攻撃手法への懸念が高まっています。

そして第3の課題が「モデルの脆弱性」です。今後、オープンソースのAIの活用が進むことが予想されるなか、利用企業による管理の行き届かないサプライチェーンで問題が発生する懸念があると村田氏は説明します。

生成AIの利用により拡大する攻撃対象領域

続いて村田氏は、生成AIアプリケーションの構成の観点から、リスクがどこに生じ得るのかを解説しました。

村田氏は、生成AIの構成を紐解いたうえで、AIアプリケーションからAIモデルに対するアクセス、RAG（検索拡張生成）をはじめとした外部リソース、プラグインやAPI、MCP（Model Context Protocol）など、新たな外部接点やプロトコルが生まれている状況にあることを指摘。「攻撃対象領域が拡大すると考えられる」と、警鐘を鳴らします。

具体的には、プロンプト（生成AIへの指示文）の入力口や、AIモデルに接続するためのインフラ環境の設定不備が攻撃の糸口になったり、AIのデータセットから機密データを窃取したりする例も確認されていると解説します。

「生成AIが、外部リソースから最新情報を取得できるようになった反面、信頼できないソースからの情報を取り込むことで起こる問題も出てきている。生成AIの進歩とともに新しいリスクが増大している」（村田氏）

「プロンプトインジェクション」が最重要課題に

セキュリティ関連の業界団体では、こうしたリスクを整理し、フレームワークや注意すべきポイントを公表しています。たとえば、アメリカでサイバーセキュリティの向上を支援するMITRE（マイター）は、生成AIに特化したナレッジベース「MITRE ATLAS」¹ を公開しています。これは、攻撃者の戦術・戦略・攻撃基準・攻撃動向などを体系化したもので、生成AI独自のセキュリティリスクについても多くの観点から考えなければならないことを示しています。

また、ソフトウェアセキュリティの改善に取り組むOWASPが発表した、LLM（大規模言語モデル）の脅威トップ10（2025年版）² では、プロンプトインジェクションを1つ目の脅威としてあげています。プロンプトインジェクションとは、悪意のあるプロンプトを入力したり、LLMが参照する外部データに悪意のある情報を埋め込んだりしてAIを悪用したり、安全制御の解除をさせたりする攻撃です。

「トップ10にはそのほか、サプライチェーン関連などのリスクが整理されており、AIアプリケーションを使う際の参考になる」（村田氏）

また、村田氏は、カスタムビルドの生成AIアプリケーションを使用している場合、この機会にセキュリティを確認することも提言します。確認すべきポイントとしては、「プロンプトインジェクションやそのほかの攻撃を検知・ブロックできるようになっているか」など、以下の4つの観点を紹介しました。

日本マイクロソフトが目指す多層的ガードレールの構築

日本マイクロソフトはAIの安全性を守るために「責任あるAIの原則」として以下6つのパワーバリューを掲げています。村田氏は「すべての利用者が安全にAIを使えるように、これらを実現できるような設計・構築・リリースを心がけている」と補足します。

講演では6つのバリューの中から、「プライバシーとセキュリティ」をとりあげ、それを実現する設計思想が説明されました。具体的には、下図のとおり、使用用途に適したモデルを選択する、モデルへの入出力を監視・保護する（安全システム）、モデルをグラウンディング（AIが回答内容を、現実世界の情報源と結びつけること）して回答の正当性を担保する、そして「責任あるAIの原則」に基づいてユーザーエクスペリエンスを高めるよう設計する、といった、リスクを低減するためのレイヤーを設けて、安全に利用できるAIの開発を目指しているといいます。

村田氏は、特に「安全システム」と「グラウンディング」のレイヤーの具体的な仕組みとして、「Azure AI Content Safety」について説明しました。これは、生成AI用の堅牢なガードレールを構築するためのもので、エンタープライズ環境で安全にAIアプリケーションやAIエージェントを構築できるプラットフォームAzure AI Foundry（現Microsoft Foundry）上で動作します。悪意のあるプロンプト入力を検出してブロックしたり、暴力的な内容を含む回答をはじめ、倫理的ではない返答を制御したりする機能があります。

たとえば、倫理的な回答をするよう設定すれば、「火炎瓶の歴史について教えてください」「どのように火炎瓶を作っていましたか」と聞いても、作り方についての説明はせず、歴史の回答だけにとどめることが可能です。

ほかにも「ジェイルブレイク」をブロックできる機能もあります。ジェイルブレイクとは、プロンプトでAIに施された倫理設定を無視するよう指示を出し、無理やり不正な回答などを得ようとする攻撃手法です。これに対する制御設定をしておけば、怪しいプロンプトをジェイルブレイクであると判断し、ブロックします。

継続的なセキュリティ維持には、防御に加え「検知」が重要

継続的にセキュリティを維持するためには、防御をとるだけでなく、攻撃を検知して対処することも重要です。そのためのセキュリティソリューションとして、村田氏は「Defender for Cloud」、そしてAIサービスに特化した「Defender for AI Services」を紹介しました。

Defender for Cloud上で動作するDefender for AI Servicesは、コードから実行環境まで、AIアプリケーションを保護することが可能です。設定や構成の不備を確認するSPM（Security Posture Management）機能に加え、実際に攻撃に遭った際の保護機能も有しています。

Azure AI Content SafetyとDefender for Cloud はネイティブに統合されており、AIワークロードの脅威保護を実現しています。もしAIアプリケーションに対して悪意のあるプロンプトが入力されたことをAzure AI Content Safetyが検知すれば、まずはそれをブロックしたうえで、ほかにも攻撃の試みがないかをDefender for Cloudでチェックするという多重の保護を効かせられます。さらにDefender for Cloudが発報したアラートにより、運用者は詳細な調査をしたり、追加の対処をしたりできるようになります。

こうした機械と人との連携により、SOCチームでの監視・対処できる範囲が広がり、様々な観点から安全性を向上させることが可能になると、村田氏は強調しました。

生成AIを企業の競争力につなげるための「レジリエンス向上」

生成AIという新しい技術の登場によって、新たな攻撃対象領域やセキュリティリスクが増加する一方、各企業が競合企業などと戦うためには、生成AIの活用は避けて通れなくなりつつあります。村田氏は、「新しい技術に対する脅威は様々な観点で情報がまとめられ、整理されている。それらを定期的に確認して対処していくことが重要」と語ります。

加えて、新しい脅威についての理解が進んだとしても、その脅威に対応できるプラットフォームがなければ、対策は後手に回らざるを得ません。その点を踏まえて、村田氏は「セキュリティが組み込まれたプラットフォームを選択すること」の重要性を強調します。

さらに、攻撃をブロックして被害を防いだとしても、攻撃者は常に新たな手法でアプローチしてきます。攻撃状況の継続的な監視や可視化によってレジリエンスを高めていくことで、「生成AIという新しい技術を、企業の競争力の向上やビジネスの拡大につなげていける」と村田氏は語りました。

講演の最後に、村田氏は、日本マイクロソフトが提供するセキュリティ情報の総合ポータルサイト ³ を紹介しました。同サイトでは最新の脅威情報、セキュリティ製品やその導入事例、イベント情報などをチェックできるので、定期的な情報収集に利用してほしいと呼びかけました。

（文：渡邊 智則）