発見可能な問題点の例
※ 本サービスは、生成AI自体を診断するものではなく、生成AIを利用するWebシステムへの診断となります。
制限を迂回して、チャットボットに不適切なコンテンツを表示させ、サービスイメージの低下を狙われる
コンテンツポリシーを回避する文言を送信することで、本来はシステム上制限されている場合でも「違法な情報」や「人権侵害を行うヘイトスピーチ」といった不適切なコンテンツを表示できる場合があります。攻撃者はこの問題点を悪用して、画面上にあたかもそのサービスを提供している企業の公式回答であるような誤情報の拡散を行うことで、サービスの信用失墜やブランド価値の低下を狙います。
生成AI活用システム リスク診断では、AIを欺くために設計された敵対的プロンプトを送信し、システムの制限を回避した応答が発生しないかを確認します。
システムの内部で設定されているプロンプトを不正に抜き出され、類似のAIボットを他社にコピーされる
生成AIの性格づけや応答形式に関する指示を含んだ設定は「システムプロンプト」と呼ばれ、公開されない前提の秘匿すべき情報となります。
システムプロンプトが漏えいした場合、悪意のある第三者に生成AIの設定を複製され、類似サービスを作成されてしまったり、システムプロンプト内に記載していた機密情報が漏えいしてしまったりするといった被害が発生します。
生成AI活用システム リスク診断では、特殊な命令を生成AIに送信するプロンプトリークの手法を用いて、システムプロンプトに類する情報を不正に窃取できるかを確認します。
プロンプトを利用したDoS攻撃
生成AIへの大量のプロンプト入力や、繰り返し命令を含むプロンプト送信を行うことで、システムを停止させサービスが提供できなくなる問題が発生する場合があります。さらに、API呼び出しの従量課金により過剰な料金の請求が行われることもあります。
生成AI活用システム リスク診断では、診断対象システムに設定された呼び出し制限を不正に回避して、定外の大量リクエストによるシステムの停止や、大量のAPI呼び出しの発生が可能な抜け道の有無を確認します。
主な診断項目
主な診断項目は以下の通りです。経験豊富なセキュリティの専門家が、お客様の生成AIを利用したサービスに合わせた診断を実施します。
| プロンプトインジェクション | システムの設定を回避して機密情報やシステム情報を抜き出せないか。 |
|---|---|
| プロンプトリーク | システムの内部で設定されているプロンプトを抜き出せないか。 |
| 安全でない処理の出力 | LLM（大規模言語モデル）の出力を利用した連携機能において、SQLインジェクションやクロスサイトスクリプティングなどの攻撃を誘発する不備がないか。 |
| モデルへのDoS攻撃 | プロンプトの大量入力によるサービス拒否や大量のトークンを消費させることで過剰な料金請求が発生する問題がないか。 |
診断結果報告書イメージ
診断報告書には、診断結果の総評、評価ランク（5段階）をはじめ、診断結果の詳細・発見された脆弱性およびその確認方法・セキュリティリスクレベル（緊急度）・推奨する対策などを記載し、お客様が改善実施すべき事項を明確にご提示いたします。
よくあるご質問
- 診断可能な生成AIの種類を教えてください。
- GPT-3、GPT-4など特定のプロンプトで、既知の脆弱性が存在しているものについては、それらに対応した診断項目を用意しておりますが、それ以外のテキストを処理する生成AIについても診断可能です。
- Webアプリケーション以外の利用システムでも診断可能ですか？
- 導入内容により診断可能です。一度お問い合わせください。
- 再診断は可能でしょうか？
- はい。可能です。報告書の納品から1カ月間のサポートとして、危険度の高い脆弱性はご希望に応じて再診断いたします。診断員がお伺いして再診断する場合は、別途お見積もりになります。詳しくはラックまでご相談ください。
価格
お問い合わせください。
お見積りについて
「概算のお見積り」をご希望のお客様は、お問い合わせ時に診断対象（システム毎の画面遷移数）の情報をいただけると、早めに概算お見積書の提出が可能です。