メインコンテンツへスキップ
       

AI契約書レビューを法律事務所で導入する前の実機テスト-ルールベース,生成AI,自動匿名化,採否記録及び停止条件(AI作成)

第1 本記事の対象と結論

本記事は,AIを用いる契約書レビューサービスを法律事務所へ導入する前に,どのような実機テストをすべきかを整理するものである。基準日は令和8年10月1日であり,特定製品の導入を推奨するものではない。

結論は,形式確認,内容レビュー,最終判断を一つの「AI精度」で評価しないことである。表記,条番号,定義語及び参照先等の再現性が必要な作業はルールベースの検査,複数の解釈又は修正案が成り立つ内容面は生成AIによる候補提示,事実関係,交渉方針,リスク許容度及び最終案の採否は弁護士が担当する。導入可否は,利用量ではなく,重大な見落とし,過剰指摘,確認時間,修正時間,情報管理及び総費用を実機で測って判断する。

第6から第8には,令和8年10月3日に,業務の型ごとの比較,依頼者への追加質問を含む確認負担,指摘の不採用理由及び雛形の版管理について実務上の提案を追補した。製品の仕様や導入効果を独立に実測したものではない。

第2 契約書レビュー工程を三つに分ける

1 形式確認は再現性を優先する

「及び」と「並びに」の表記,定義語の不一致,条番号のずれ,参照先の誤り,括弧又はインデントの崩れ等は,同じ入力に同じ結果を返すことが重要である。生成AIに全文を書き換えさせると,形式修正の途中で意味まで変える危険があるため,規則を明示できる作業はルールベース又はWordの比較・変更履歴機能で確認する。

2 内容レビューは候補提示として使う

損害賠償,解除,秘密保持,知的財産権,保証,準拠法,裁判管轄等は,契約類型,当事者の立場,取引目的及び交渉経緯によって評価が変わる。生成AIは,見落とし候補,反対当事者の視点,修正案及び質問事項を挙げる補助に使い,出力件数の多さを品質と同一視しない。

3 最終判断は弁護士が行う

契約締結の可否,受け入れるリスク,依頼者への説明,交渉順位及び最終条文は,依頼者の事情と事件全体を踏まえて弁護士が決める。法務省の契約書等関連業務支援サービスに関するガイドラインも,サービスの機能・表示及び利用者を弁護士法72条との関係で区別している。ツールを導入したことは,個別契約の法的評価をツールへ移したことを意味しない。

第3 Word上で動くことと外部送信の有無を分ける

Wordの画面内で操作できても,処理が端末内で完結するとは限らない。製品名ではなく,機能ごとに,①読み取る範囲,②端末外へ送信するデータ,③送信先,④保存先,⑤保持期間,⑥ログ及びキャッシュ,⑦人的アクセス,⑧再委託先,⑨処理国並びに⑩削除方法を確認する。

BoostDraftの公式説明は,従来の形式レビュー機能をインターネット不要のWord上の機能,BoostDraft AIをWord上で内容レビューを行うAI機能として区別している。また,BoostDraft AIについて,ファイル内の情報を保持せず,AIモデルの学習に利用しないと説明している。これは提供者による公式説明として重要であるが,個別契約の適用範囲,ログ・障害調査データ・バックアップ,基盤モデル又は再委託先の取扱いまで当然に証明するものではない。

第4 自動匿名化は機能名でなく工程として試験する

1 消す対象と残す対象を決める

会社名,氏名,住所,日付,金額,口座,メールアドレス,製品名,案件番号その他の識別子を,どこまで自動検出するかを確認する。識別子を消し過ぎると,当事者,時系列,金額条件又は定義語を取り違え,レビュー自体が不正確になる。

2 マスキング前後の各データを分ける

原文,マスキング後の文書,原文との対応表,AIへ送信するプロンプト,AIの応答,再識別後の表示,操作ログ,キャッシュ及びバックアップを別々に確認する。送信本文が匿名化されていても,対応表又はログが外部へ送られれば目的を達成できない。

3 文脈からの再識別を試す

氏名を記号へ置き換えても,希少な取引,地域,日付,金額,役職又は他の文書との組合せから当事者を推測できることがある。公開情報又は合成データで,匿名化漏れ,過剰匿名化,文脈による再識別及び再識別後の誤復元をテストする。

BoostDraftの公式製品ページは,社名・住所・取引条件等を自動でマスキングしてAIへ渡す機能を説明している。BUSINESS LAWYERSのPR記事は,匿名化機能をオンにすると会社名・住所・日付等を匿名化して送信し,応答時に元の名称へ戻すとの事業者説明を掲載している。後者はPR記事における事業者説明であり,独立試験又は契約条項そのものではない。

第5 契約前に確認する情報管理項目

確認項目は,少なくとも次のとおりである。

①利用規約,個別契約,秘密保持条項及びデータ処理契約の適用関係
②入力,出力,ログ,利用統計及びフィードバックの利用目的
③学習・モデル改善・サービス改善への利用の有無
④保存期間,削除方法,契約終了後の取扱い及びバックアップ
⑤提供者の人的アクセス,サポート又は障害調査時のアクセス
⑥基盤モデル,クラウド,ログ解析等の再委託先及び変更通知
⑦保存国・処理国,暗号化,SSO,権限管理及び監査ログ
⑧事故通知,調査協力,データ返還・削除及び監査に必要な情報

「学習に使わない」は重要な条件であるが,それだけで秘密情報を入力できるとは限らない。個人情報保護委員会は,個人情報を含むプロンプトについて利用目的の範囲内であることを確認し,個人データが応答生成以外の目的で取り扱われる場合には,提供者が機械学習に利用しないこと等を十分に確認するよう注意喚起している。弁護士実務では,これに守秘義務,依頼者との関係及び事務所の情報セキュリティ規程を重ねて判断する。

BoostDraftの公開プライバシーポリシーは同社のウェブサイト及びサービス一般に適用され,サービス内容向上のための匿名又は統計データの作成・管理等を利用目的に掲げる。公開ページだけでは,BoostDraft AIに特有の再委託先,基盤モデル,処理国,ログ及び保存期間の全てを確認できないため,導入時には個別資料又は契約書面で補う。

第6 実機テストの作り方

1 公開又は合成契約書で始める

最初の試験に実事件の契約書を使わない。公開された契約書,事務所が作成した合成契約書又は識別情報を含まない雛形を用い,正解又は確認すべき論点を担当弁護士が先に記録する。

2 同じ資料を三つの方法で処理する

①人だけ,②ルールベース機能と人,③生成AI機能と人の三条件で,総作業時間と成果物を比較する。総作業時間には,準備,入力,待機,出力確認,一次資料確認,修正,差戻し及び保存後の確認を含める。

3 難易度を分ける

単純な秘密保持契約,業務委託契約,英文契約,自社雛形から大きく外れた契約等を混ぜず,類型と難易度を分ける。自社基準に沿うかを測るときは,基準文書の版,適用部署及び例外条件を固定する。

同じ契約類型でも,業務の目的を分けて試す。①相手方作成の契約書を今回限りで審査する業務,②自社で反復使用する雛形を整備する業務,③生成AIが作成した長文案を検証する業務,④実績のある雛形から初稿を作る業務では,必要な確認と成果物が異なる。②では,将来の案件に再利用できる標準条項,例外条件及び確認事項を残す利益も評価する。①の所要時間だけで②の価値を測らない。

③では,長い案を速く生成できたことと,読んで確定する時間が短くなったことを分ける。④では,人が既存雛形を選び必要箇所だけを修正する方法も比較対象に含める。初稿の作成と既存案の審査を混ぜず,依頼者への聞取り,前提資料及び交渉方針を各条件でそろえる。これは実務上の比較方法の提案であり,生成AI又は雛形のどちらが常に速いという実験結果を示すものではない。

第7 測るべき指標

次の指標を併用する。

①結論又は交渉方針を変え得る重大な見落とし
②誤った指摘又は重複指摘による確認負担
③修正案を採用できた割合と修正に要した時間
④法令,判例,社内基準及び原文との一致
⑤原文の意味を変えた形式修正の有無
⑥匿名化の漏れ,過剰マスキング及び誤復元
⑦準備から確定版保存までの総作業時間
⑧ライセンス料,トークンその他の利用料及び教育・管理費用

プロンプト数,生成文字数,利用時間,トークン消費量又はAIの指摘数を単独の人事評価指標にしない。不必要な場面でAIを使わない判断,出力を安全に棄却した判断及び人へ切り替えた判断も正の成果として記録する。

総作業時間には,AIの回答待ちだけでなく,長文案の全体通読,事実関係の再確認,打合せ,依頼者への追加質問及び依頼者の回答待ちを含める。文章量が増えた場合は,必要な論点が増えたのか,同じ論点の重複説明が増えたのかも記録する。質問についても,契約条件を決めるために必要だった質問と,前提を与えていないためにAIが増やした質問を区別する。

第8 採否記録と停止条件

AIの各指摘について,採用,一部採用,不採用,確認待ちを区別し,理由と確認した一次資料又は自社基準を残す。採否記録は,ツールの正答率を飾るためではなく,どの契約類型・条項・条件で役立ち,どこで誤るかを次の回帰試験へ戻すために使う。

次の事象が生じた場合は,試行を停止して原因を確認する。

①存在しない法令・判例・社内基準を根拠として表示した
②契約本文の意味を無断で変更した
③秘密情報又は個人情報が許可していない経路へ送信・保存された
④匿名化前データ又は対応表が想定外の場所へ残った
⑤権限のない文書,メール又はクラウドへアクセスした
⑥人の承認なく外部送信,上書き又は確定版への反映が行われた

不採用の理由には,「原文との不一致」,「契約目的又は当事者の立場との不一致」,「実益が小さい」,「交渉上の優先順位が低い」,「既に別条項で処理済み」,「依頼者への質問が不要」を区別して記録する。重要な見落としを減らせても,軽微な指摘を大量に検討する負担が増えれば,全体として導入が適切とは限らない。

反復利用する雛形は,版番号,改訂日,適用する取引・部署,例外条件及び改訂責任者を記録する。更新後は旧版の利用を止める方法まで定め,採用した修正を標準条項に戻すか,今回だけの例外として残すかを分ける。再利用可能な知識が蓄積されたかも,審査件数や生成文字数とは別に評価する。

第9 導入可否の決め方

導入可否は,事務所全体について一度に決めず,「どの契約類型について,どの機能を,どの情報区分で,誰が使い,誰が確認するか」という単位で決める。モデル,プラン,規約,再委託先,匿名化機能又はWord連携の仕様が変わった場合は,同じ製品名でも再試験する。

試行結果が良くても,直ちに処理件数の恒久ノルマへ置き換えない。確認時間,教育負担,事故対応及びモデル更新による変動を含め,見直し日を定めた条件付導入とする。

第10 一次資料と判例の確認状態

法令・会規及び行政資料として,弁護士法23条,弁護士職務基本規程19条・23条,弁護士情報セキュリティ規程,個人情報保護委員会の注意喚起並びに法務省のAI等法務業務支援サービスに関するガイドライン掲載ページを確認した。

製品仕様はBoostDraftの公式製品ページ及び一般プライバシーポリシー,補助資料はBUSINESS LAWYERSのPR記事を確認した。公式製品ページも契約条項そのものではなく,PR記事は独立監査資料ではないため,個別契約で未確認の事項を「確認済み」とはしていない。

本記事は,特定の裁判例を根拠とする命題を採用していないため,今回の検討では判例秘書の追加検索を実施していない。したがって,関連裁判例が0件であるとの結論は示していない。

法律専門誌17誌の目次アーカイブは,「生成AI」,「AI契約」,「契約書レビュー」,「リーガルテック」及び「人工知能」で検索した。東弁LIBRAの生成AI業務利用記事,ビジネス法務の生成AI時代の法務特集等を確認したが,本文未確認のものは実体的な根拠に用いていない。

第11 関連記事

①国内のリーガルテック・国産AIの規約は入力データをどう扱うか―学習条項と派生データ条項の比較(AI作成)
②法律事務所の生成AI利用ガイドラインの作り方-許可サービス,入力情報,出力確認,委託先及び事故対応(AI作成)
③AIで時短した職員を損させない法律事務所の評価制度-隠れた生産性,品質指標及び余力配分(AI作成)
④AIに代替される弁護士業務と人が担う役割-仕事がなくなる条件・根拠・限界(AI作成)

第12 出典・参考資料

1 法令・会規・公的資料

①e-Gov法令検索「弁護士法」
②日本弁護士連合会「弁護士職務基本規程」
③日本弁護士連合会「弁護士情報セキュリティ規程」
④個人情報保護委員会「生成AIサービスの利用に関する注意喚起等」
⑤法務省「AI等法務業務支援サービス提供と弁護士法第72条の関係に係るガイドライン等の公表について」

2 製品提供者及び二次資料

①BoostDraft「BoostDraft AI」(製品提供者の公式説明)
②BoostDraft「プライバシーポリシー」(サービス一般の公開方針)
③BUSINESS LAWYERS「なぜBoostDraftはAIレビューに踏み込んだのか?」(PR記事。事業者説明を含む二次資料)