メインコンテンツへスキップ
       

総務省「AIのセキュリティ確保のための技術的対策に係るガイドライン」(令和8年3月公表)――対象・脅威・対策と実務上の限界(AI作成)

第1 本ガイドラインが扱う対象と位置付け

1 LLMを中心とする技術的対策のガイドライン

総務省は,令和8年3月27日,「AIのセキュリティ確保のための技術的対策に係るガイドライン」を公表した。
本ガイドラインが主な対象とするのは,大規模言語モデル(LLM)及びLLMを構成要素に含むAIシステムであり,想定読者はAI開発者及びAI提供者である(本編5頁~6頁,PDF7頁~8頁)。

本ガイドラインは,AIシステムへの攻撃を完全に防ぐ認証基準ではなく,現時点で採り得る一般的な技術的対策例を整理した文書である。
中心となる脅威は,プロンプトインジェクション攻撃及びDoS攻撃であり,対策の要点は,モデル,入力,外部参照データ,出力,権限及び運用の各層を組み合わせることにある。

2 本ガイドラインにおける「セキュリティ」

本ガイドラインは,AIのセキュリティを,外部からの不正な操作により,機密情報の漏えい,AIシステムの意図しない変更又は停止等が生じないような状態と説明している(本編3頁,PDF5頁)。
この説明は本ガイドラインが扱う脅威の範囲を示すものであり,AIの安全性,公平性,プライバシー,透明性その他のAIガバナンス上の論点を全て含む定義ではない。

3 AI事業者ガイドライン及びAI法13条に基づく指針との違い

本ガイドラインは,総務省及び経済産業省の「AI事業者ガイドライン第1.2版」が共通の指針として掲げる「セキュリティ確保」について,LLMを中心とする技術的対策例を具体化する関係にある。
もっとも,本ガイドラインの表1が参照するのは策定時点の第1.1版であり,令和8年8月28日現在のAI事業者ガイドラインは,同年3月31日公表の第1.2版である。

人工知能関連技術の研究開発及び活用の推進に関する法律13条は,国が人工知能関連技術の研究開発及び活用の適正な実施を図るための指針を整備するものと定めている。
同条に基づく指針は,令和7年12月19日人工知能戦略本部決定の「人工知能関連技術の研究開発及び活用の適正性確保に関する指針」であり,本ガイドラインとは別の文書である。

第2 本ガイドラインが挙げる主な脅威

1 直接及び間接プロンプトインジェクション攻撃

直接プロンプトインジェクション攻撃は,攻撃者が細工したプロンプトをLLMへ直接入力し,システムの本来の指示に反する出力をさせる攻撃である。
これに対し,間接プロンプトインジェクション攻撃は,ウェブページ,外部ファイル,電子メール又はRAG用データ等に埋め込まれた指示をLLMが読み込み,不正な出力又は処理を行う攻撃である(本編7頁~9頁,PDF9頁~11頁)。

想定される結果には,①RAG用データストアにある機密情報の出力,②不正なSQLクエリ又はシステムコマンドの生成・実行,③システムプロンプトの漏えい,④利用目的に反する誤った内容の出力が含まれる。
外部資料を検索して回答するAIシステムについて,本記事では,利用者の入力だけでなく,AIが読み込むウェブページ,電子メール及びファイルも,信頼できるとは限らない入力として整理する。

2 AIシステムに対するDoS攻撃

本ガイドラインにおけるDoS攻撃には,大量又は長大な入力によって計算負荷を増大させる攻撃だけでなく,LLMに出力又は外部ツールの呼出しを無駄に継続させる攻撃及びAPI利用上限へ到達させる攻撃も含まれる(本編10頁,PDF12頁)。
その結果として,応答の遅延・停止,サービス継続性の低下及び従量課金による経済的損失が想定されている。

3 データポイズニング等のその他の脅威

本ガイドラインは,その他の脅威として,①学習データ等を汚染するデータポイズニング攻撃,②細工されたモデルをAIシステムへ導入させる攻撃,③入出力を反復分析して類似モデルを複製するモデル抽出攻撃を挙げている(本編11頁,PDF13頁)。
別添(付属資料)は,画像識別AIに対する敵対的サンプル,メンバーシップ推論攻撃及びモデル反転攻撃も整理しているが,画像識別AIの対策を視覚言語モデルへそのまま転用できるとは限らないと留保している(別添15頁~17頁,PDF17頁~19頁)。

第3 AI開発者及びAI提供者に示された対策

1 安全基準の学習及び指示の階層化

AI開発者向けの対策例は,悪意ある入力へ応答しないための安全基準を事後学習させること及び指示の優先順位を学習させることである(本編14頁,PDF16頁)。
指示の階層化は,システムプロンプト等の上位の指示を,利用者入力又は外部データに含まれる下位の指示より優先して処理させる方法である。

もっとも,別添は,安全基準の学習及び指示の階層化を対策の具体例として示すにとどまり,これらの学習だけで攻撃を防げるとはしていない(別添1頁~2頁,PDF3頁~4頁)。
このため,本記事では,モデル側の対策と,入力・出力の検証,権限制御その他のシステム側の対策を分けて確認する。

2 システムプロンプトの強化及び機密情報の分離

AI提供者については,システムプロンプトに,LLMの役割,遵守するルール,禁止事項,拒否方法及び入力の解釈方針を記載する方法が例示されている。
ただし,別添の文例は構造を示した抽象例であり,そのままコピーすれば安全になる完成済みのプロンプトではない(別添2頁~4頁,PDF4頁~6頁)。

APIキー,認証情報,データベース名,テーブル名及び利用者の権限等は,システムプロンプトへ直接記載せず,LLMが直接アクセスしないキー管理システム等で管理する方法が示されている。
環境変数による分離も一例であるが,AIシステム自体が侵害された場合の窃取可能性は残るため,分離したという事実だけで保護が完了するわけではない。

3 入力,外部参照データ及び出力の検証

入力プロンプトについては,ブロックリスト又はガードレール用LLM等により不正な指示を検出し,無害化又は処理拒否を行う方法が示されている。
ブロックリストは高速である反面,未知の攻撃パターンを見逃す可能性があり,ガードレール用LLMにも誤判定及び処理遅延があり得るため,別添は複数の方式を組み合わせることが望ましいとしている(別添5頁~6頁,PDF7頁~8頁)。

外部参照データについても,LLMへ渡す前に検証し,取得元を限定するとともに,利用者入力と外部参照データをタグ,セクション又はメタデータによって分離する方法が示されている。
出力については,機密情報,内部システムの構造又は危険なツール呼出しが含まれていないかを検証し,不正な場合には応答又は実行を拒否することが考えられる(別添7頁~11頁,PDF9頁~13頁)。

4 最小権限及びRAGのアクセス制御

LLMと外部システムとの間で処理を管理するオーケストレータには,必要最小限の権限だけを与え,影響の大きい処理について実行前に利用者の承認を求める方法が示されている。
LLMの自由文をコマンド又はSQLとして直接実行せず,構造化出力を用いて,利用可能な処理,パラメータ及び値の範囲を制限することも対策例である(別添9頁~14頁,PDF11頁~16頁)。

RAG用データについては,部署,役職,案件その他の属性に応じたタグを付し,利用者のセッション情報と結び付けてアクセスを制御する方法が示されている。
利用者又はグループごとに名前空間若しくはインスタンスを分離し,RAG用データストアへの書込み権限も必要最小限にする方法が考えられる。

5 監査ログ,レート制限及び継続的な評価

本ガイドラインは,AI特有の対策だけでなく,監査ログの保存,レートリミット,開発者の権限管理,基盤モデル及び構成要素の信頼性確認,並びに学習データの出所・加工履歴の確認も挙げている(本編13頁~16頁,PDF15頁~18頁)。
基盤モデル,新たな学習,RAG用データ又はシステム構成を変更した場合には,従前の評価結果をそのまま流用せず,対策の有効性を再評価することになる。

第4 本ガイドラインの限界及び法的な意味

1 安全を保証するチェックリストではないこと

本ガイドラインは,個々の対策によって脅威を生じさせる要因を完全に排除できるとはしておらず,複数の対策を組み合わせること及びレッドチーミングにより有効性を継続的に確認することを示している(本編12頁,PDF14頁)。
したがって,システムプロンプト,ガードレール又は入力フィルタのいずれか一つを導入したことをもって,本ガイドラインへの対応が完了したと評価することはできない。

2 法的責任を決定する文書ではないこと

本件の意見募集は,e-Govの案件ページ上,行政手続法に基づかない任意の意見募集として実施されている。
本ガイドライン自身も,AIシステムへの攻撃に係る法的整理を目的とせず,ある脅威に関する責任主体を決定する趣旨ではないと記載している(本編12頁,PDF14頁)。

このため,掲載された対策を実装していないという一事から,直ちに法令違反又は損害賠償責任が成立するとはいえず,実装したという一事から責任を免れるともいえない。
本記事では,事故時点の技術水準,予見可能性,システムの用途,契約上の役割分担及び採用可能であった対策を検討する際に参照され得る公的資料の一つ,という位置付けで用いるのが適切であると考える。

3 営業秘密の秘密管理性との関係

不正競争防止法2条6項の営業秘密に該当するには,秘密管理性,有用性及び非公知性の各要件を満たす必要がある。
本ガイドラインは,掲載された対策を講じて秘密情報を適切に管理することが,AIシステムから漏えいした情報の秘密管理性を基礎付け得る旨を記載している(本編12頁,PDF14頁)。

もっとも,意見募集結果において,総務省は,本ガイドラインの対策が秘密管理性を満たすための必須要件ではなく,その充足を基礎付ける要素の一つになり得るにとどまり,対策の実施又は不実施だけで秘密管理性が判断されるものではないと回答している(9頁・項目56)。
営業秘密管理指針も,必要な秘密管理措置の内容・程度は,企業の規模,業態,従業員の職務及び情報の性質等によって異なるとしている(本文8頁,PDF11頁)。

第5 利用形態ごとに異なる確認範囲

1 外部の生成AIサービスを利用する場合

既成の生成AIサービスを通常の業務で利用する事業者は,原則としてAI利用者の立場にあるため,本ガイドラインの直接の想定読者ではない。
この場合は,AI事業者ガイドライン第1.2版がAI利用者に示す事項に従い,AI提供者が示すセキュリティ上の留意点を確認し,機密情報等を不適切に入力しない運用を検討することになる(同ガイドライン本文40頁,PDF41頁)。

2 社内RAGシステムを構築する場合

外部の基盤モデルを利用して社内文書を検索するRAGシステムを構築・運用する事業者は,AI提供者又はAI開発者としての立場も検討対象となる。
本編が示す組織内RAGのシナリオでは,外部データからの間接プロンプトインジェクションだけでなく,利用者の所属,役職又は案件を越えた情報取得を防ぐアクセス制御及びデータストアへの書込み権限が主要な確認事項となる(本編17頁~19頁,PDF19頁~21頁)。

3 外部向けチャットボットを提供する場合

顧客又は一般利用者へチャットボットを提供する場合,本記事では,不特定の利用者による直接プロンプトインジェクション及び大量リクエストを前提として確認する。
本編が示す外部向けチャットボットのシナリオでは,入力・出力の検証,アクセス可能な外部システムの限定,APIキーごとのレート制限及び監査ログが対策例となる(本編20頁~22頁,PDF22頁~24頁)。

4 AIエージェントを扱う場合

本ガイドラインは,AIエージェントについて,技術が急速な発展途上にあり,固有の脅威及び対策を安定的に確定することが困難であるとして,固有の脅威及び対策を対象外としている(本編5頁脚注6,PDF7頁)。
したがって,外部ツールの実行,データ更新又は複数エージェントの連携を行うシステムについて,本ガイドラインだけで評価を完結させることはできない。

AIセーフティ・インスティテュートは,令和8年7月7日,AIエージェントシステムの普及を踏まえて「AIセーフティに関する評価観点ガイド」第1.20版を公表した。
AIエージェントを扱う場合,本記事では,同版,最新の攻撃事例,基盤モデル提供者の資料及びシステム固有の権限設計を併せて確認する。

第6 導入,契約及び事故対応で確認する事項

1 導入・監査時の確認項目

本記事では,本ガイドラインの対策例を導入・監査へ落とし込む際の確認項目を,次のとおり整理する。
①利用者入力,外部参照データ,RAG用データ,LLMの出力及びツール実行結果の流れを図示しているか。
②直接・間接プロンプトインジェクション,DoS,データポイズニング及び構成要素の改ざんについて,影響と発生可能性を評価しているか。
③APIキー,認証情報,データベース構造及び利用者権限をシステムプロンプトから分離しているか。
④入力,外部参照データ及び出力の各段階に検証を設け,検知時の拒否,無害化又は人手移行を定めているか。
⑤LLMの出力をコマンド又はSQLとして直接実行せず,処理,パラメータ及び権限を制限しているか。
⑥オーケストレータ,外部ツール及びRAG用データストアの権限を必要最小限にしているか。
⑦入力長,出力長,リクエスト回数及びツール呼出し回数に合理的な上限を設けているか。
⑧基盤モデル,RAG用データ,外部連携先又はシステム構成の変更時に,再評価及びレッドチーミングを行う手順があるか。

2 契約で確認する事項

AIシステムの開発委託契約,利用契約又はクラウドサービス契約では,本記事の実務上の提案として,技術的対策の実施主体,設定可能な範囲,監査ログの取得,インシデント通知,脆弱性対応,モデル変更時の再評価及びデータへのアクセス権限を確認することが考えられる。
本ガイドラインは責任分担を定める文書ではないため,本記事では,発注者,開発者,提供者及び利用者のうち誰がどの対策を実施するかを,システム構成及び契約に即して別途固定することを提案する。

3 事故時に保存する資料

攻撃,誤作動又は情報漏えいが発生した場合は,本記事の実務上の提案として,事故時点のシステム構成,基盤モデルの版,システムプロンプト,権限設定,RAG用データの範囲,入出力及びツール実行のログ,既知の脅威,契約上の役割分担並びに変更履歴を保存することが考えられる。
本ガイドラインへの形式的な適合だけではなく,採用した対策が対象システムで実際に機能していたかを事後に検証できる資料が,法的評価及び再発防止の双方に関係するためである。

第7 関連記事

内閣法制局ご説明資料に基づくAI推進法の解説(AI作成)
学習履歴オフの生成AIに秘密情報を入力することは第三者開示に当たるか(AI作成)
シャドーAIの問題点――営業秘密,個人情報保護法及び懲戒処分をめぐる法的枠組み(AI作成)

第8 出典・参考資料

1 法令及び法令に基づく指針

人工知能関連技術の研究開発及び活用の推進に関する法律(令和7年法律第53号)13条(e-Gov法令検索)
②人工知能戦略本部「人工知能関連技術の研究開発及び活用の適正性確保に関する指針」(令和7年12月19日本部決定)
不正競争防止法(平成5年法律第47号)2条6項(e-Gov法令検索)

2 所管行政機関のガイドライン及び意見募集資料

①総務省「AIのセキュリティ確保のための技術的対策に係るガイドライン」(令和8年3月。本編1頁~22頁,PDF3頁~24頁)
②総務省「AIのセキュリティ確保のための技術的対策に係るガイドライン 別添(付属資料)」(令和8年3月。別添1頁~17頁,PDF3頁~19頁)
③総務省「『AIのセキュリティ確保のための技術的対策に係るガイドライン(案)』に対して提出された意見及びその意見に対する総務省の考え方」(令和8年3月。9頁・項目56,18頁・項目127~128)
④総務省「意見募集の結果及びガイドラインの公表」(令和8年3月27日,1頁~2頁)
⑤総務省・経済産業省「AI事業者ガイドライン第1.2版 本編」(令和8年3月31日。本文3頁,5頁,19頁及び40頁,PDF4頁,6頁,20頁及び41頁)
⑥経済産業省「営業秘密管理指針」(令和7年3月31日最終改訂。本文8頁・13頁,PDF11頁・16頁)

3 関連する技術資料

①AIセーフティ・インスティテュート「AIセーフティに関する評価観点ガイド」掲載ページ(第1.20版は令和8年7月7日公表)
②AIセーフティ・インスティテュート「AIセーフティに関するレッドチーミング手法ガイド」掲載ページ(第1.10版は令和7年3月31日公表)
③AIセーフティ・インスティテュート「AIシステムに対する既知の攻撃と影響」掲載ページ(第2版は令和8年4月24日公表)