第1 記事の対象と結論
本記事は,生成AI,検索拡張生成(RAG)及びAIエージェントを含むAIシステムについて,脆弱性診断,ペネトレーションテスト又はAIセーフティに関するレッドチーミングを外部事業者へ委託する場合の契約事項を整理するものである。
結論は,①「診断を実施する」とだけ定めず,対象資産,許される行為,利用アカウント,試験時間及び第三者サービスとの境界を明示すること,②本番環境の利用,実データへの接触及び高負荷試験を原則から切り離して個別承認事項とすること,③異常時の停止条件及び連絡経路を実施前に確定すること,④発見した秘密情報及び個人データの取扱い並びに試験記録の保全・削除を定めること,⑤報告書の内容,改修期限及び再試験を検収条件に結び付けること,⑥AI固有の評価だけでなく通常の認証・認可及びクラウド設定も試験対象にすることである。
第2 三つの試験を区別する
1 脆弱性診断
脆弱性診断は,ウェブアプリケーション,API,クラウド設定又はネットワーク等について,既知の脆弱性や設定不備を一定の手順で検出し,その有無と改善方法を報告する業務である。
網羅性を重視する検査であっても,契約上の対象外資産又は禁止された手法まで試せるわけではない。
2 ペネトレーションテスト
ペネトレーションテストは,想定する攻撃者の目的を置き,実際の攻撃に近い方法で防御を回避できるかを確認する試験である。
脆弱性の列挙だけでなく,権限昇格,横移動又は重要情報への到達可能性を検証するため,業務停止,データ変更及び第三者環境への波及のリスクが大きく,許可する手法と停止条件を特に明確にする必要がある。
3 AIセーフティに関するレッドチーミング
AIセーフティ・インスティテュートの「AIセーフティに関するレッドチーミング手法ガイド(第1.10版)」は,AIシステムのリスクシナリオと攻撃シナリオを作成し,攻撃の実施記録,結果報告及び改善後のフォローアップまでを一連の工程として示している。
対象には,モデルの出力だけでなく,RAG,外部ツール,入出力データ及び運用方法を含むAIシステム全体を置く必要がある。
AIレッドチーミングと通常のセキュリティ試験は重なるが,同一ではない。
有害出力,誤情報,プロンプトインジェクション又はモデルの安全機能回避を調べても,テナント間のデータ分離,APIの認可,クラウドの権限又は秘密鍵の管理が安全であることは証明できないため,契約書では両者の範囲を別々に記載する必要がある。
第3 試験権限を契約で具体化する
1 承諾の主体と対象
不正アクセス行為の禁止等に関する法律2条4項は,不正アクセス行為を定義する際に,アクセス管理者又は一定の場合の利用権者の承諾を得てする行為を除外しており,同法3条は不正アクセス行為を禁止している。
したがって,試験実施者に対する包括的な「許可」があるだけで足りると考えず,各システムのアクセス管理者を確認し,誰が,どの資産について,どの方法を承諾できるかを文書化する必要がある。
対象は,ドメイン名,IPアドレス,APIエンドポイント,クラウドプロジェクト,アプリケーションの版,モデル,RAGのデータストア,外部ツール,試験用アカウント及び権限ロールで特定する。
子会社,共同利用先,クラウド事業者又は連携SaaSが管理する部分は,委託者の承諾だけで試験できるとは限らないため,対象から除外するか,必要な第三者承諾を別途取得する。
2 許容行為と禁止行為
許容行為には,使用できる診断ツール,手動操作,認証回避の試行,権限昇格,プロンプトインジェクション,ファイル投入,API呼出し,疑似データの取得及び負荷の上限を記載する。
禁止行為には,サービス妨害,破壊的操作,永続化,マルウェア設置,実在する第三者への送信,無関係な個人データの閲覧,ソーシャルエンジニアリング及び対象外環境への横移動を必要に応じて列挙する。
契約範囲を外れた行為が直ちに特定の犯罪を構成すると一律に断定することはできない。
しかし,刑事法上の評価とは別に,許諾の有無,契約違反,秘密保持,個人情報の取扱い及び第三者に対する責任が問題となり得るため,試験担当者が現場で判断できる粒度のルール・オブ・エンゲージメントを作成することが重要である。
第4 環境,データ及び停止条件を決める
1 試験環境とデータ
原則は,本番と同等の構成を持つ隔離された試験環境と合成データを用いることである。
本番環境でなければ再現できない項目がある場合は,対象時間帯,許容負荷,監視担当者,バックアップ,ロールバック手順及び実データへの接触可否を個別に承認する。
試験用アカウントは最小権限とし,通常利用者,管理者及び別テナント等の役割ごとに用意する。
2 停止条件と緊急連絡
停止条件には,応答遅延又はエラー率が閾値を超えた場合,データの消失・変更を検知した場合,対象外資産への到達可能性が判明した場合,実在する個人データ又は秘密鍵を取得した場合及び第三者サービスへ影響するおそれが生じた場合を含める。
受託者が停止を判断できること,委託者が直ちに停止を命じられること,24時間対応が必要な場合の連絡先及び判断権者も定める。
3 変更管理
試験期間中のシステム変更は,結果の再現性と事故原因の識別を難しくする。
対象の版,設定,モデル,システムプロンプト,RAGデータ及び外部連携を記録し,変更が必要な場合の通知方法を定める。
AIシステムはモデル更新又はプロンプト変更でも挙動が変わり得るため,重要な変更後の追加試験又は再試験を契約に組み込む。
第5 秘密情報,個人データ及び証拠を管理する
1 取得を最小化する
試験の目的は脆弱性の存在と影響を確認することであり,取得できるデータを最大限収集することではない。
脆弱性を立証できた時点で取得を止め,画面,レスポンス又はデータベース記録には必要最小限のサンプルだけを残し,パスワード,アクセストークン,秘密鍵及び無関係な個人データを報告書へ平文で転記しない。
個人情報保護法23条は個人データの安全管理措置を,同法25条は個人データの取扱いを委託する場合の委託先の監督を求めている。
試験で個人データを扱う場合は,目的外利用の禁止,アクセスできる担当者,保存場所,暗号化,複製,持出し,再委託,事故報告,返却又は削除及び監査方法を定める。
2 試験記録を証拠として保全する
試験計画,承認記録,時刻を含む操作ログ,通信記録,対象バージョン,設定の写し,検出結果,受託者からの速報,改修履歴及び再試験結果を相互に対応付ける。
ログ自体にトークン又は個人データを過剰に残さず,アクセス権,保存期間及び改ざん防止措置を設ける。
これにより,試験による通信と第三者による攻撃を区別し,事故発生時に原因と対応経過を説明しやすくなる。
第6 報告,開示,改修及び検収を一続きにする
1 報告書の必須項目
報告書には,対象,実施期間,試験者,前提条件,使用手法,検出事項,重要度,成立条件,再現手順,影響範囲,取得したデータの種類,推奨対策及び未実施項目を記載する。
重要度だけで処理せず,実際の事業影響,悪用の容易性,外部公開の有無及び代替対策を踏まえて改修順序を決める。
2 脆弱性情報の開示
受託者による公表,学会発表,営業資料への利用及び第三者機関への届出は,秘密保持条項とは別に定める。
公表を全面禁止するだけでは,第三者製品の脆弱性を適切に調整する必要が生じた場合に対応できないため,委託者への先行通知,開発者又はIPA・JPCERT/CCとの調整,修正版の提供時期及び緊急時の協議手順を定める。
IPAとJPCERT/CCが運用する情報セキュリティ早期警戒パートナーシップは,発見者,製品開発者及びウェブサイト運営者等による脆弱性情報の取扱いの枠組みを示している。
3 改修と再試験を検収条件にする
成果物の納入だけで業務完了とせず,重大な検出事項の速報,報告書レビュー,委託者の改修,受託者による再試験及び残存リスクの承認を工程として定める。
検収基準には,約束した範囲の試験が完了したこと,未実施項目が明示されたこと,証拠が再現可能であること及び再試験結果が提出されたことを含める。
責任制限又は損害賠償条項は,試験自体が予定された高リスク行為であることを踏まえ,通常のシステム開発契約をそのまま流用しない。
対象外資産への侵入,故意又は重大な過失,秘密情報の漏えい,個人データ事故,第三者権利侵害及びデータ復旧費用をどのように扱うかを個別に協議する。
第7 AIシステムで追加すべき試験項目
AIシステムでは,①システムプロンプト又はRAGデータの抽出,②プロンプトインジェクションによる指示の上書き,③別利用者又は別テナントのデータ参照,④外部ツールの過剰権限,⑤AIエージェントによる無承認の送信・購入・削除,⑥ファイル又はウェブページに埋め込まれた間接的な指示,⑦記憶又はフィードバック機能を通じた汚染,⑧大量要求による費用増大又はサービス停止を検討する。
このうち,モデルの応答内容を調べる試験と,API,データベース,クラウド及び外部ツールの権限制御を調べる試験は分けて記録する。
AIが安全な回答をしたことは,バックエンドの認可が正しいことの証明にはならず,ログインできるかを確かめる認証と,ログイン後に何を読み書きできるかを決める認可について,利用者と操作の組合せを表にして否定テストを行う必要がある。
第8 契約前チェックリスト
契約前には,①試験目的と試験種別,②アクセス管理者と承諾権限,③対象資産・版・アカウント・ロール,④許容手法と禁止行為,⑤本番環境・実データ・第三者サービスの扱い,⑥時間・負荷上限・停止条件・緊急連絡,⑦再委託と担当者の適格性,⑧秘密情報・個人データ・試験記録の管理,⑨速報・報告書・脆弱性開示,⑩改修期限・再試験・検収,⑪損害賠償・責任制限・保険,⑫終了後のアカウント失効,データ削除及び証明書の提出を確認する。
委託先の選定では,IPAの情報セキュリティサービス基準適合サービスリストを参考にできるが,リスト掲載は個別案件における試験品質又は結果を保証するものではない。
対象技術の経験,担当者,方法,報告書例,独立性,利益相反,事故対応及び再試験体制を個別に確認する必要がある。
第9 関連記事
認証と認可の違い,データベースの行単位アクセス制御及びAPIキーの扱いは,「AIで作った社内ツールの情報漏えい――Moltbook事件から見る認可設計,個人情報保護法の安全管理措置及び委託契約(AI作成)」で整理している。
個人データを外部サービスへ取り扱わせる際の契約と監督は,「令和8年改正個人情報保護法と委託契約-クラウド・生成AI利用で見直す事項(第30条の3・第58条の2)(AI作成)」を参照されたい。
第10 出典・参考資料
1 法令・ガイドライン
・不正アクセス行為の禁止等に関する法律2条及び3条(e-Gov法令検索)
・個人情報の保護に関する法律23条及び25条(e-Gov法令検索)
・個人情報の保護に関する法律についてのガイドライン(通則編)(個人情報保護委員会)
2 公的資料
・AIセーフティに関するレッドチーミング手法ガイド(第1.10版)(AIセーフティ・インスティテュート,2025年3月31日公表)
・情報セキュリティサービス基準適合サービスリスト(独立行政法人情報処理推進機構)
・情報システム・モデル取引・契約書(第二版)(独立行政法人情報処理推進機構,2020年12月22日公表)
・情報セキュリティ早期警戒パートナーシップガイドライン(独立行政法人情報処理推進機構及びJPCERTコーディネーションセンター,2024年版)
・政府情報システムにおけるセキュリティ・バイ・デザインガイドライン(デジタル庁,2024年1月31日最終改定)