AI FoundryとMicrosoft Defender for CloudによるAIエージェントの脅威検知

Microsoftソリューション推進チームの松葉 優です。

近年、生成AIを活用したサービスが広がり、企業内で独自のAI機能を開発する動きが加速しています。そこで課題になるのが、生成AIを使い作成したプログラム（AIエージェントやAIアプリ）に対するセキュリティです。

単純にユーザーの入力と生成AIを繋ぐだけの構成では、プロンプト・インジェクション攻撃などを受けてしまう可能性があります。実際、OWASP Top 10 for LLM^※1でも、プロンプト・インジェクション攻撃を筆頭に様々な脅威が紹介されています。直接ユーザーの入力を処理しないとしても、セキュリティは軽視できる項目ではありません。

そこで注目されるのが、Microsoft社のAzure AI Foundry（以下、AI Foundry^※2）を利用したAIエージェントです。同社のMicrosoft Defender for Cloud（以下、Defender for Cloud）と連携することで、AIエージェントに対するセキュリティ状況の可視化や、推奨する対策の提示までを一元的に行えます。

今回は、実際にAI FoundryとDefender for Cloudを連携させ、企業が開発したAIエージェントに対する攻撃を検知し、推奨される対策を把握できる環境を構築します。

※1 OWASP Top 10 for Large Language Model Applications | OWASP Foundation

※2 検証時点の表記につき、Azure AI Foundryとしています。記事公開時は、Microsoft Foundryとなっています。

AI FoundryとDefender for Cloudとは

AI Foundryとは、Microsoft社が提供するAI開発の統合プラットフォームです。企業が独自のAIエージェントを迅速かつ安全に構築し、実運用できるように設計されています。モデル開発や評価、デプロイ、監視までを一貫して扱えるため、従来は分断されがちだった開発と運用の壁を低くし、短期間でビジネスに結びつけられると期待されています。今回は、AIエージェントの開発環境として利用します。

Defender for Cloudは、Microsoft Azure（以下、Azure）をはじめ複数のクラウド基盤にまたがるセキュリティを統合的に管理する、クラウドセキュリティ態勢管理（Cloud Security Posture Management：CSPM）サービスです。クラウドの脆弱な設定や攻撃の兆候を検知し、推奨される対策を提示することで、運用者の負担を大きく減らせます。今回は、AI Foundryと連携してセキュリティ態勢管理を実施します。

チャットAIエージェントのデプロイ

今回は、AIエージェントそのものの作成手順については割愛します。AIエージェントの作成方法について詳しく知りたい方は、公式のドキュメント^※3などをご参照ください。ここではAI Foundryのテンプレート機能を用い、「チャット形式で生成AIとやりとりをする」基本的なAIエージェントを作成しました。

※3 Microsoft Foundry クイック スタート - Microsoft Foundry | Microsoft Learn

AI Foundryで作成したAIエージェントは、Webアプリとしてデプロイします。ここでは、gpt-4.1を利用する設定としました。

残りのWebアプリとしてデプロイする際の各種設定を入力して、「展開」からデプロイします。

AI Foundryでのデプロイが完了すると、自動的にMicrosoft Entra ID（以下、Entra ID）の管理下のアプリケーションとしてAI Agentが登録されます。この情報は、Entra IDの「アプリの登録」から確認できます。

Defender for Cloudとの連携

AIエージェントのデプロイが完了したら、次はDefender for Cloudと連携するための設定を行います。まず、Defender for Cloudのクラウドワークロード保護の[AIサービス]設定をONに変更します。

続いて[設定と監視]設定にて、2つのコンポーネントをONに変更します。

次に、AI Foundryの[診断設定]画面にて、ログ転送先を設定します。これで準備は完了です。

攻撃のサンプルの実施

それでは、作成したAIエージェントに対して実際にサンプル攻撃を仕掛け、どのような結果になるかを確認しましょう。

今回は、生成AI分野で特に警戒すべき攻撃として知られる脱獄攻撃（Jailbreak）を実施します。脱獄攻撃とは、AIシステムの脆弱性を悪用して倫理ガイドラインを回避し、本来禁止されている回答や操作を引き出そうとする攻撃です。チャットに、悪意のあるプロンプトを入力した結果が以下となります。

エラーの内容が英語ですが、脱獄攻撃が検知されてAIエージェントからの回答がブロックされました。

攻撃の検知を確認

次に、先程の攻撃がどのように検知されているかを確認します。Defender for Cloudの[セキュリティ アラート]画面に、検知された脱獄攻撃が一覧表示されます。実際に見てみると、今回実施した脱獄攻撃が「A Jailbreak attempt...」というアラート名で検知されています。

[すべての詳細を表示]をクリックすると、推奨されるアクションなどを参照できます。ここにはアラートの内容、脅威の軽減、将来の攻撃の防止などの推奨されるアクションが表示されています。これらの情報を元に、セキュリティ設定を見直し適切な対処をすることで、より安全にAIエージェントを利用できるようになります。

おわりに

今回は、AI Foundryで作成したAIエージェントとDefender for Cloudの連携について解説しました。生成AIをビジネスに活用する動きが急速に広がる一方で、AIエージェントの活用にはセキュリティの課題が多く、攻撃事例や脆弱性の報告も増えています。開発スピードを優先した結果、十分な対策が取られないまま運用されてしまうケースも珍しくありません。

Defender for Cloudを連携することで攻撃を検知し、対策を強化することでより安全にAIエージェントを活用できます。安全に運用し続ける体制を整えることがこれからのAI活用において重要な前提となるため、AIエージェントのセキュリティ対策のファーストステップとして、本記事が参考となれば幸いです。

また、ラックではAzureやAWSなど複数のクラウド環境において、セキュリティ水準の統制をサポートする「Microsoft Defender for Cloud向け導入・活用支援サービス」を提供しています。AI Foundryだけではなく、クラウド自体のインフラも保護したいお客様をサポートします。もしご興味をお持ちいただけたら、ぜひラックへお問い合わせください。