メインコンテンツへスキップ
       

法律事務所のAIエージェントが停止したときの再開手順-安全監視,プロンプトインジェクション,二重送信・二重公開及び証拠保全(AI作成)

AIエージェントが安全監視,通信障害又は外部資料中の不審な指示によって停止したとき,「同じ指示をもう一度実行する」だけでは,メールの二重送信,記事の二重公開,ファイルの上書き又は同じ申立ての重複処理を招くことがある。

停止した要求がそれ以上進まないことと,停止前に完了した外部操作が取り消されることは別である。本記事は,法律事務所がAIエージェントを停止させた後,証拠と外部状態を保全し,弁護士の承認を経て安全に再開するための一般的な手順を整理する。

第1 本記事の対象と結論

本記事の対象は,生成AIが検索,文書作成又は要約だけでなく,ファイル保存,メール送信,ウェブサイト更新その他のツール操作まで行う場合である。

結論は,次のとおりである。

①異常又は停止を検知したら,その要求だけでなく,同じ目的のために動いている他の処理もいったん止める。

②要求ID,応答ID,ツール呼出し,時刻,画面,ログ及び作業対象を保存し,停止前に何が実行済みかを確認する。

③メール,WordPress,クラウドストレージその他の外部システムを読み戻し,「未実行」「実行済み」「成否不明」を区別する。

④成否不明の操作を自動で再試行しない。再開票に確認済みの状態,残作業,重複防止策及び必要な承認を記録する。

⑤送信,提出,公開,削除,決済又は権限変更は,弁護士が対象と外部状態を確認した後,一回に限って再開する。

この手順は,法令又は裁判例が定める統一的な様式ではなく,弁護士情報セキュリティ規程等を実務へ落とし込むための提案である。

第2 自動で再試行してはいけない理由

生成AIの安全監視は,入力又は出力に問題があると判断した時点で,その後の処理を止めることがある。しかし,監視処理が非同期で行われる場合,停止までに一部のツール操作が完了していることがある。

OpenAIの開発者向け資料「Misalignment monitoring」は,監視で停止した場合に自動再試行をせず,要求・応答の識別子,ツール呼出し及びアプリケーション側の記録を保存し,既に行われた変更を確認するよう説明している。同資料はOpenAI製品の運用に関するベンダー一次資料であり,日本法上の一般的義務を直接定めるものではないが,「停止は巻戻しではない」という技術上の区別は他のAIエージェントでも有用である。

通信のタイムアウトも同じである。利用者側が応答を受け取れなくても,外部システム側では送信又は保存が完了している場合がある。「エラーになったから未実行」と決めつけず,外部状態を読み戻してから次の操作を決める必要がある。

第3 停止直後に行うこと

停止直後は,原因分析より先に,被害拡大と証拠の散逸を防ぐ。

①同じ案件,同じ送信先又は同じ公開先を扱う他のAI処理を停止する。

②要求ID,応答ID,利用モデル,セッション又は作業ID,実行日時及び利用アカウントを保存する。

③AIが呼び出したツール,入力値,戻り値及びエラーを,表示された順序が分かる形で保存する。

④作業画面,送信済みフォルダ,公開画面,ファイルの版履歴その他の外部状態を取得時刻付きで記録する。

⑤資格情報の不正利用が疑われるときは,当該経路を停止し,失効又は変更を行った者と時刻を記録する。

⑥依頼者情報その他の秘密情報が外部へ送信された可能性があるときは,対象案件と情報の範囲を特定する。

ログをAI自身が変更できる作業フォルダだけに置くと,誤操作又は侵害時に検証できない。監査ログ及び保全コピーは別の管理境界へ保存する。

第4 停止原因の分類

停止原因最初に確認する事項再開前の条件
弁護士又は担当者による停止停止を指示した理由,懸念した操作及び未処理の作業停止理由を解消し,指示者が再開範囲を承認する。
モデルの拒否又は安全監視警告内容,要求・応答ID,直前のツール操作及び既存の外部効果原因を分類し,無害化した試験環境で確認する。自動再試行をしない。
通信障害又はタイムアウト外部システムの受付番号,送信済み表示,更新時刻及び版履歴実行済みかを外部システムで確認し,成否不明を残さない。
プロンプトインジェクションの疑い読んだウェブページ,メール,PDF等と,その後に要求された不自然な操作外部資料を隔離し,権限・資格情報・外部通信の影響を確認する。
外部システムの仕様又は制限エラーコード,入力制限,保存方式及び再送時の挙動公式資料又は管理者の説明で再実行条件を確認する。

複数の原因が重なることもある。例えば,外部資料中の指示で不自然な送信を試み,安全監視が止め,さらに送信先の応答がタイムアウトした場合は,プロンプトインジェクション,安全監視及び成否不明の外部操作を別々に確認する。

第5 外部システムの実際の状態を読み戻す

AIの画面に表示された「成功」「失敗」だけではなく,外部システム側の状態を確認する。

メール・チャットでは,送信済みフォルダ,メッセージID,宛先,添付及び送信時刻を確認する。下書きが残っていても,同じ内容が既に送られていることがある。

裁判所・行政機関への電子提出では,受付番号,事件番号,提出書面名,提出日時及び受領通知を確認する。受付の有無が画面だけで分からない場合は,システムの公式手順に従い,担当者が確認する。

WordPressその他の公開システムでは,管理画面の保存済み本文だけでなく,未ログイン状態の公開ページ,更新日時,URL及びメタ情報を確認する。画面遷移又は成功通知だけで公開内容を推測しない。

ファイル・データベースでは,ファイル名,保存先,更新時刻,版履歴,件数及び内容のハッシュ値を確認する。同期中の表示だけで保存完了と扱わない。

確認結果は,「未実行」「実行済み」「一部実行」「成否不明」の四つに分ける。成否不明の操作は,確認できるまで再開対象から外す。

第6 再開票に記録する事項

停止後の引継ぎは,長い会話履歴だけに依存せず,次の事項を一枚の再開票に固定する。

①案件名又は作業ID

②当初の目的と成果物

③停止を検知した日時,検知者及び停止理由

④最後に確認済みのチェックポイント

⑤既に完了した外部操作

⑥未実行の操作,一部実行の操作及び成否不明の操作

⑦保全したログ,画面,ファイル,要求・応答ID及び保存先

⑧失効させた資格情報と残っている権限

⑨再開後に実行する操作と実行しない操作

⑩重複を防ぐための識別子,内容のハッシュ値又は外部状態

⑪弁護士の承認を要する事項,承認者及び承認時刻

⑫再開担当者と完了を確認する方法

再開票は,AIが自ら「問題が解決した」と判断するためではなく,人が外部状態と残作業を短時間で確認するための記録である。

第7 二重送信・二重公開を防ぐ設計

同じ操作の重複を防ぐ技術として,固有の作業ID,操作番号,送信済み台帳,内容のハッシュ値及び外部システムの受付番号を使う方法がある。APIが冪等キー(同じキーの要求を重複処理しないための識別子)に対応している場合は,その仕様を確認して利用できる。

ただし,すべてのシステムが冪等キーに対応するわけではなく,同じキーの有効期間や対象となる操作も異なる。技術用語だけで重複防止ができたと考えず,次の順で確認する。

①外部システムの状態を読み戻す。

②送信先,対象,内容,更新前後の版及び受付番号を照合する。

③既に実行済みなら,残作業だけを新しい操作番号で実行する。

④成否不明なら,同じ操作を直ちに再送せず,管理者又は公式の確認手段を使う。

⑤再開後の一回の操作について,再び管理画面と公開状態を読み戻す。

第8 プロンプトインジェクションが疑われる場合

ウェブページ,電子メール,PDF,OCR結果又は相手方から受領した文書には,AIに対して「これまでの指示を無視せよ」「秘密情報を送信せよ」等と働きかける文字列が含まれることがある。これは間接プロンプトインジェクションの一例である。

外部資料は,調査又は証拠の対象となるデータであって,法律事務所の操作権限を与える命令ではない。外部資料中の指示だけを根拠に,秘密情報の送信,ファイル変更,公開,削除,決済又は権限変更を行わせない。

OWASPは,検索拡張又は追加学習だけではプロンプトインジェクションを完全に防げないと説明している。OpenAIのGPT-6 Astra System Cardも,攻撃者がエージェントをデータ窃取,破壊的操作等へ誘導し得ることを示している。同System CardのGray Swanによる評価では,安全対策を有効にしたGPT-6 Astraについて,1シナリオ当たり15回の試行のうち少なくとも1回成功した攻撃の割合を8.5%と推計している。

この8.5%は,1810件の選定された攻撃シナリオに対する評価指標であり,法律事務所における現実の事故率ではない。しかし,モデルを新しくするだけでは残余リスクがなくならず,最小権限,接続先制限,資格情報の分離,人の承認及びログが必要であることを示す資料になる。

第9 復旧用バックアップと証拠保全を分ける

スナップショット,チェックポイント又はバックアップは,直前の状態へ戻し,作業を継続するための資料である。他方,停止原因や外部送信の有無を後で立証するには,取得元,取得日時,原本,ハッシュ値,保管経路及び変更履歴を別に記録する必要がある。

バックアップから復元したことだけで,停止時の証拠が取得後に変更されていないこと,又は裁判上の真正が当然に認められるわけではない。復旧のために上書きする前に,必要なログ及び状態を読み取り専用の形で保全する。

NISTの「Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile」は,生成AIについてインシデント対応及び復旧計画を整え,必要に応じて機能停止又は利用中止を行うことをリスク管理策として挙げる。これは米国の任意のリスク管理資料であり,日本の法律事務所に直接適用される法令ではない。

第10 弁護士の承認を経て再開する

再開承認では,単に「続けてよい」と言うのではなく,次の事項を確認する。

①当初の依頼及び作業目的が現在も有効であること

②停止前に完了した外部操作と残作業が区別されていること

③秘密情報,送信先,公開先及び利用アカウントが正しいこと

④プロンプトインジェクションその他の停止原因が除去又は隔離されていること

⑤再開する一回の操作と,その完了を確認する読戻し方法が定まっていること

⑥失敗した場合の再停止条件と連絡先が定まっていること

承認後は,残作業を小さな単位に分け,一回実行するごとに外部状態を確認する。送信,提出,公開,削除,決済及び権限変更を一括して再開しない。

第11 法律事務所向けチェックリスト

停止直後

□ 同じ案件・目的の処理を止めた。

□ 要求・応答ID,ツール呼出し,時刻及び画面を保存した。

□ 秘密情報の外部送信又は資格情報の不正利用の可能性を確認した。

再開判断前

□ 外部システムを読み戻し,実行済み・未実行・成否不明を分けた。

□ 送信先,受付番号,公開URL,更新時刻,版又はハッシュ値を記録した。

□ 成否不明の操作を自動再試行の対象から外した。

□ 再開票に残作業,重複防止策及び必要な承認を書いた。

再開後

□ 承認された一回の操作だけを実行した。

□ 保存済み本文,送信済み記録又は受付結果を読み戻した。

□ 未ログインの公開画面その他の利用者側表示を確認した。

□ 原因,影響範囲及び再発防止策を事故記録へ反映した。

第12 法令・会規・判例との関係

日本弁護士連合会の弁護士情報セキュリティ規程4条は,弁護士等を取扱情報の情報セキュリティの責任者とし,組織的,人的,物理的及び技術的な安全管理措置を求める。同規程7条は,漏えい,滅失又は毀損等の事故について,影響範囲の把握,被害拡大防止,原因調査及び再発防止策の検討等を求める。

本記事の停止,外部状態の読戻し,再開票及び重複防止は,これらをAIエージェントの作業へ落とし込む実務上の提案である。同規程がAIエージェントの要求ID,冪等キー又は再開票を明文で義務付けているわけではない。

経済産業省・総務省のAI事業者ガイドライン(第1.2版)は,リスクベース・アプローチ,人間の判断・関与及び入力情報の管理等を示すが,法的拘束力のないソフトローである。

本記事の作成時に,判例秘書で「AIエージェントの安全監視後の自動再試行」「二重送信・二重公開」等について認証済みの裁判例検索は実施していない。このため,関連する裁判例がないとは評価しない。個別事件で過失,債務不履行,秘密保持義務違反又は証拠能力等を論じる場合は,事案に即した裁判例検索が別途必要である。

第13 本記事の資料の位置付け

資料の位置付けは,次のように分ける。

①弁護士情報セキュリティ規程は,法律事務所の情報管理に関する会規である。

②経済産業省・総務省のAI事業者ガイドライン及びNISTの資料は,リスク管理の公的又は公的機関の指針であり,個別事件の法的結論を直接示す判例ではない。

③OpenAIの開発者向け資料及びSystem Cardは,同社製品の挙動,監視及び評価結果に関するベンダー一次資料である。他社製品又は日本法上の一般的義務を直接証明しない。

④OWASPの資料は,プロンプトインジェクションという技術上の脅威と対策を整理した業界資料である。

⑤本記事の再開票,四分類及びチェックリストは,上記資料から導いた法律事務所向けの実務提案であり,公的な標準様式ではない。

第14 関連記事

事務所全体の利用ルールは,法律事務所の生成AI利用ガイドラインの作り方-許可サービス,入力情報,出力確認,委託先及び事故対応(AI作成)で整理している。

専用PC,最小権限及び承認疲れは,法律事務所がAIエージェントに専用PCを与えるときの安全設計-全権委任,承認疲れ,最小権限及び敬語の限界(AI作成)を参照されたい。

モデル切替え前の比較評価は,法律事務所で生成AIのモデルを使い分け・切り替えるときの設計―モデル単位の許可台帳,データ条件の確認及び切替え時の再検証(AI作成)で扱っている。

サンドボックス,通信制限,スナップショット及び証拠保全の違いは,法律事務所のAIサンドボックス入門-コンテナ,gVisor,MicroVM,通信制限,スナップショット及び証拠保全(AI作成)を参照されたい。

第15 出典・参考資料

①OpenAI「Misalignment monitoring」(停止,自動再試行の禁止,要求・応答ID及び既実行の変更確認に関するベンダー一次資料)

②OpenAI「GPT-6 Astra System Card」(間接プロンプトインジェクションの評価に関するベンダー一次資料)

③OWASP「LLM01:2025 Prompt Injection」(技術上の脅威と対策を整理した業界資料)

④NIST「Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile」(NIST AI 600-1,令和6年7月)

⑤日本弁護士連合会「弁護士情報セキュリティ規程」(会規第117号)

⑥経済産業省・総務省「AI事業者ガイドライン(第1.2版)」