法律事務所の生成AIをどう評価・改善するか―トレース，評価データセット，回帰試験，一次資料確認及び守秘義務（AI作成）

第１　本記事の対象と結論

本記事は，法律事務所が生成AI又はAIエージェントを導入した後に，出力の見栄え又は担当者の感想だけで性能を判断せず，どの工程で何が失敗したかを記録し，評価データセットと回帰試験によって改善する方法を整理するものである。
法令，会規，行政資料及び製品提供者の公式資料は令和8年9月30日までに確認したものを参照し，法務AIのベンチマークに関する追記は令和8年10月1日までに確認した公表資料に基づく。

結論として，①実行過程をトレースで確認する，②代表例と失敗例を評価データセットへ戻す，③固定ルール，別のAI及び弁護士の三層で評価する，④変更前後を同じ問題で比較する，⑤本番の失敗を次の回帰試験へ戻す，という循環を作る必要がある。
ただし，トレースはAIが何をしたかを示す記録であって，法的結論が正しいこと又は弁護士が相当な確認をしたことを当然に証明するものではない。

問いの与え方，評価入力及び採点用の語句に関する追記は，令和８年１０月１３日に確認した実験者の公開報告を手掛かりにした運用提案である。
既存の法令・製品条件すべてを同日付で再確認したという意味ではない。

第２　四つの記録を分ける

１　事件記録

事件記録は，依頼者から受領した原資料，確定した期限，提出又は送信した書面，連絡内容及び弁護士の最終判断を保存する記録原本である。
AIとの会話履歴又は観測サービスの画面を事件記録の代わりにしない。

２　監査ログ

監査ログは，誰が，いつ，どの対象について，閲覧，変更，送信，削除又は承認を行ったかを追跡するための記録である。
外部作用を伴う操作では，成功通知だけでなく，保存先又は送信先から読み戻した結果も記録する。

３　トレース

トレースは，一つの処理について，モデル呼出し，取得した文脈，検索結果，ツール操作，再試行，入力，出力及び付随情報を工程順に結び付ける記録である。
最終回答だけを見る場合と異なり，検索で正解資料を落としたのか，取得に失敗したのか，引用を誤ったのか，正しい資料を最終回答が無視したのかを切り分けやすくなる。

４　評価データセット

試験例には，通常の質問だけでなく，対象範囲外の質問，根拠不足で判断を保留すべき例，条件が一つ変わる反例及び旧版の社内基準を拾った例も入れる。
答えを出した件数だけで評価せず，答えを出してはいけない状態を認識し，人へ戻せたかを確かめる。

評価データセットは，代表的な問い，期待する処理又は回答，参照すべき一次資料及び評価基準を，繰り返し試験できる形で保存した集合である。
本番トレースをそのまま永久保存することとは異なり，必要な部分だけを抽出し，秘密情報を削減又は置換し，次の版にも通用する試験例へ作り直す。

第３　法律調査を工程に分けて評価する

１　問いの定義

最初に，対象法域，基準日，手続段階，当事者の立場，求める成果物及び未確定事実を固定する。
同じ語を検索しても，現行法，旧法，施行前の改正法又は経過措置のどれを問うかによって正解が変わるため，基準日を省略しない。

評価では，争点を与えて処理させる場合と，原資料から問い自体を点検させる場合を分ける。
必要な争点や疑うべき前提を質問者が先に選べば，その質問への正答だけでは，実案件で重要事項を取りこぼさない能力まで測れない。
次は質問の作り方を比較する架空の例であり，入金の税区分又は課税関係を判断する例ではない。

二つの課題を同じ成績として混ぜず，どこまで手掛かりを与えたかを記録する。
質問の言い換えや重要な前提を一つ変えた模擬例も使い，結論が変わる条件を説明できるかを確認する。
この設計は，GPT-1900の実験者が指摘する，観測情報の選別と問いの与え方の限界を手掛かりにした実務提案であり，日本の法律事務で効果を独自に測定した結果ではない。

２　検索・取得

検索工程では，正解資料が候補集合へ入った割合と，誤った候補をどれだけ混ぜたかを分けて測る。
取得工程では，候補の名称又は要約だけでなく，実際の条文，判決本文，行政資料又は契約原文を開けたかを確認する。

３　命題化・引用

命題化の工程では，資料が直接述べる内容，そこからの推論及び一般化を分ける。
引用の工程では，引用文，頁又は該当箇所，事件番号及び裁判年月日が原文と一致するかを検査し，反対方向の資料又は例外を落としていないかを確認する。

判決の引用は，①抽出文が原文に存在するか，②当事者の主張・争いのない事実・裁判所の認定又は判断・編集者の要旨のどれか，③起案中の法的命題をその箇所が支えるか，を分けて採点する。
文字列が一致しても，当事者の主張を裁判所の判示へ読み替えていれば不合格とする。
令和８年の日本語判決予測・情報抽出研究は，gpt-oss-120bによる特定設定の抽出結果の約半数について原文に完全一致する文字列がなく，書換えを禁じる指示でも大きく減らなかったと報告する（４．４節・注７）。
これは生成AI全般の誤答率を示す数字ではないが，「原文を渡した」「逐語抽出と指示した」という実行記録だけで引用確認を済ませない理由になる。

４　時点管理・最終出力

時点管理では，法令の施行日，改正前後，経過措置及び資料の公表日を確認する。
最終出力では，結論，根拠，限界，未確認事項及び次に人が行う確認を分け，読者が一次資料へ戻れるURL又は書誌情報を残す。

第４　評価データセットに入れる項目

１　正解だけでなく法的な前提を残す

法律実務の評価データセットには，少なくとも次の項目を持たせることが考えられる。

①問い又は作業指示
②対象法域，基準日及び手続段階
③参照すべき法令名，条番号，裁判所名，裁判年月日，事件番号，行政資料名又は証拠番号
④確認した原文のURL，頁又は該当箇所
⑤期待する結論又は工程
⑥重要な反対材料，例外及び不利な先例
⑦必ず付ける留保又は未確認表示
⑧禁止する操作及び人の承認を要する操作
⑨秘密情報の区分，匿名化の方法及び再利用の可否
⑩確認者，確認日及び使用した資料の版
⑪判例データベースを使った場合の名称，検索日，検索式，対象範囲，ヒット件数及び実際に全文を確認した件数
⑫課題の種類，入力で与えた争点・前提・結論の手掛かり，試行回数及び候補の選別方法

最終文面が一字一句同じであることよりも，必須資料を拾い，射程を外さず，反対材料と未確認事項を示したかを重視する。

２　調整用と評価用を分ける

プロンプト，検索式又は閾値を調整するために繰り返し見た問題と，最終性能を測る問題を分ける。
同じ少数の問題だけを見ながら調整すると，その問題には強いが新しい案件には弱い仕組みになり得る。

変更前の基準版，変更後の版，モデル，プロンプト，検索対象，ツール，評価器及び実行日を記録し，同じ条件で比較できるようにする。

問題ごとの分離に加えて，事件のまとまりを記録する。
上記の研究は，同じ判決に由来して事実を共有する事例が学習側と評価側へ分かれると，成績を高く見せる可能性を指摘する（３．４節・注６）。
事務所では，同じ紛争の原審・上訴審，複数の争点及びそれらから作った模擬問題を一群として管理し，調整に使った群を最終評価から分ける方法が考えられる。
研究での指摘と，この事務所向けの設計案は区別する。

３　失敗事例を安全に再利用する

本番で誤った期限，架空の裁判例，引用のずれ，権限外検索又は誤送信が見つかった場合は，事故対応と再発試験を分ける。
まず利用停止，影響範囲の確認，証拠保全及び必要な連絡を行い，その後，原因となった工程だけを再現できるテスト事例を作る。

依頼者名，事件番号，相手方名，固有の金額その他の識別情報を評価データセットのメタデータへそのまま入れない。
置換によって法的意味が変わる場合は，実在事件を外部の評価基盤へ移すのではなく，事務所内で管理する模擬事例又はアクセスを限定した検証環境を用いる。

第５　三層の評価を使い分ける

１　固定ルールによる検査

固定ルールは，URLの有無，指定項目の欠落，日付又は金額の形式，事件番号の形式，重複，引用文と原文の一致，目次リンク，保存後の値及び禁止語等を高速に検査できる。
一方，条文又は判決の射程，類推の妥当性及び証拠評価を，形式検査だけで決めることはできない。

２　別のAIによる補助評価

別のAIに，根拠の欠落，反対材料，説明の明確さ，質問への適合性又は不自然な断定を指摘させる方法は，多数の候補を人の確認順へ並べるために使える。
もっとも，評価するAIも同じ誤りをする可能性があり，参照資料を与えなければ文章の自然さを正しさと取り違えることがある。

したがって，AIによる評価点は採否の補助信号とし，低得点を自動却下する場合も，高得点を自動採用する場合も，事務所の実測値と危険度に応じた閾値及び人へ戻す条件を定める。

評価するAIが，評価対象の文章を書いたAIと同じである場合には，自分の出力を高く評価する偏り（自己選好）にも注意する。Panickssery，Bowman及びFengの論文（arXiv:2404.13076，NeurIPS 2024）は，評価者のAIが自分の出力を見分ける能力と自己選好の強さとの相関を報告している。他方，Zhengらの論文（arXiv:2306.05685，NeurIPS 2023）は，データが限られるため自己強化の偏りの有無を断定できないとしつつ，提示順や回答の長さに左右される偏りを挙げている。
候補を書いたAIと評価するAIを分ける場合も，最初に必須条件の通過を確認する。
第3の引用・判示の区別や，第5の4の全必須項目合格率を，品質の合計点とは別の条件として扱い，重大な事実誤認，架空の出典，対象時点の誤り又は秘密情報の混入を，説明の明確さ等の点数で相殺しない。
通過した候補の品質について項目ごとに採点し，重みを付けて比較する。二つの評価が一致しても，必須条件の確認と採用前の原典確認を省かない。
具体的な手順は，AIに主張案を複数書かせて選ぶとき―項目別の採点，弁護士が決める重み，書き手と別の採点役及び選び方が割れた案の確認（AI作成）で整理している。

採点用の語句がそろっていることと，根拠に沿った判断ができていることも分ける。
例えば，「売上，借入金，前受金のいずれもあり得る」と並べただけの回答は，候補を挙げた点と，各候補を識別する資料・判断保留の条件を示した点を別に採点する。
引用先が候補を支えていない，互いに矛盾する結論をすべて確定事項として述べる，又は不足資料を示さず一つの結論へ進む場合は，語句の一致だけで合格としない。

GPT-1900の実験者のPost-training節は，評価AIから点を得るために可能な結論や前提を列挙する挙動を報告している。
これは当該実験の報告であり，すべての法務AIで同じ挙動が起きると確認されたものではない。
事務所では，正解に近い語句と根拠のない説明が混在する例も評価用に置き，根拠との対応，不一致及び人へ戻す条件を検査することが考えられる。

３　一次資料と弁護士による確認

法令の現行条文，裁判例の本文，証拠原本，契約条項及び期限は，権威ある原典又は利用を許されたデータベースで確認する。
弁護士は，法的命題と原典の対応，基準日，不利な資料，個別事情，依頼者の目的及び最終的な法的判断を確認する。

裁判所ウェブサイトに掲載がないことは裁判例の不存在を意味しない。
必要性に応じて判例秘書その他の利用可能な判例データベースを確認し，確認できた本文と検索範囲を分けて記録する。

４　採点者を変更したときは同じ成果物を再採点する

結果は，①必須条件の通過率と重大な欠落件数，②通過した案の品質，③弁護士の確認・修正を含む総時間を分けて表示する。
重大な欠落のある案を高得点案の平均へ混ぜ，平均点の上昇だけを品質改善と説明しない。
これらは本記事の評価設計案であり，法律が同一の採点方式を直接定めているという説明ではない。

成果物の改善と採点者の尺度の変化を分けるため，担当弁護士が共通の参照例と項目別の採点理由を残すことを提案する。
優れた例，採否の境界の例及び重大な誤りを含む例について，人と評価AIがどこで一致し，どこで食い違うかを確認する。採点者ごとの平均点とばらつきは尺度の違いを疑う手掛かりになるが，正しい法的判断をしたことの証明にはならない。

評価AI，採点指示又は採点票を更新したときは，旧版と新版の成果物を共通の採点役で再採点する。
評価データセットの変更前後では，共通問題の結果と新規問題の結果を分ける。平均点だけでなく，重大な誤りの件数，全必須項目合格率及び弁護士の修正・再確認を含む総時間を比較する。

例えば，新版の文章が高得点となっても，採点者の変更だけによる上昇なら，起案品質の改善を実証したとはいえない。
司法試験の得点調整から学べる比較条件と，公式試験の点数を実務性能へ読み替えられない理由は司法試験で「合格水準」と評価されたAIを弁護士実務でどう評価するかで説明している。

第６　オフライン評価・オンライン監視・回帰試験

リリース前のオフライン評価では，既知の代表例，境界例，失敗例及び反対材料を含むデータセットに新しい版を通し，基準版と比較する。
必須項目の欠落又は禁止操作は固定ルールで，説明の質又は反対材料の拾い方は補助評価と人の査読で確認する。

本番中のオンライン監視では，極端に長い処理，再試行の増加，想定外のツール，承認の迂回，未確認の断定又は人からの訂正を検知する。
本番で見つかった失敗は，秘密情報を減らした上で評価データセットの候補へ戻し，修正後は同じ事例を回帰試験に追加する。

モデル，プロンプト，検索対象，コネクタ，権限，出力形式又は一次資料の版を変えたときは，関係する回帰試験を再実行する。
全体の平均点だけでなく，重大な偽陰性，期限，外部送信及び権限逸脱のような一件でも影響が大きい失敗を別に管理する。

第７　守秘義務と個人情報に配慮したトレース設計

１　観測基盤も独立した情報送信先である

生成AIのモデル提供者だけでなく，検索先，外部コネクタ，トレース，評価データセット，評価に使う別のAI及びサポート窓口も，入力又は派生情報が渡る経路になり得る。
モデル側を学習オフにしても，観測基盤へ入力，出力，取得資料，ツール引数又はメタデータが保存される場合は，その経路を別に確認する。

個人情報保護委員会は，個人情報取扱事業者が個人情報を含むプロンプトを入力する場合，利用目的の範囲内であることを確認し，本人同意なく個人データを入力して応答出力以外の目的で取り扱われる場合には，提供者が機械学習へ利用しないこと等を十分に確認するよう注意喚起している。
この注意喚起は，学習利用を確認すれば守秘義務その他の問題が全て解決するという意味ではない。

２　記録しない設計も選択肢にする

トレースには，目的に必要な項目だけを記録し，依頼者名，事件番号，メールアドレス，資格情報及び原資料全文をメタデータへ重複保存しない。
入力及び出力を保存せず，処理時間，成否，工程名及び匿名のテストIDだけを残す方法も検討する。

秘密情報を含む処理で，保存先，閲覧者，再委託先，削除，事故通知又は契約条件を確認できない場合は，トレースを無効にするか，事務所が管理する環境だけで観測する。

３　保存期間等を固定値で決め打ちしない

製品の保存期間，プラン，機能名，再委託先及び削除方法は変更され得るため，ブログ記事又は内部規程に古い固定値を残し続けない。
導入時及び変更時に，契約，公式資料，管理画面及び実際の設定を確認し，確認日と確認者を許可サービス台帳へ記録する。

トレースを評価データセットへ追加すると保存期間又は削除単位が変わることがある。
トレース，データセット，添付ファイル，評価結果及び請求・分析用メタデータについて，保存期間，削除の方法，削除後に残る情報及びエクスポートの可否を別々に確認する。

第８　小規模法律事務所の最小実装

最初から専用の評価製品を導入しなくても，次の順序で始められる。

①公開情報だけを使った代表的な10問から20問を用意する。
②各問に基準日，参照すべき一次資料，必須事項，反対材料及び人へ戻す条件を付ける。
③実行ごとに，検索，取得，引用，最終回答及び確認の成否を一行で記録する。
④モデル又はプロンプトを変える前後で同じ問題を実行し，重大な失敗が増えていないかを確認する。
⑤本番の訂正事例は秘密情報を除いた模擬事例へ変換し，次回以降の回帰試験へ追加する。

工程別の成功率に加え，課題ごとに「参照すべき一次資料の本文を確認した」「引用と法的命題の射程が一致した」「重大な反対資料を落としていない」「人へ戻す条件を守った」という必須項目を定め，全項目を満たした課題の割合を別に出す。
必須項目の平均達成率と課題の完遂率を混同せず，問題集合，採点票，モデルの版及び人による確認時間を同時に残す。

自動評価を増やすのは，この少数例で何を誤るかが分かってからでよい。
評価作業自体が過大になった場合は，重大度，発生頻度及び検出可能性により対象を絞り，人の査読を高リスクの工程へ集中する。

１　品質合格後に採算と受任能力を測る

品質の必須条件を満たした後に，確認済みの成果物をどれだけ無理なく納品できるか，採算が改善するかを測ることを提案する。
AIの生成件数を納品件数へ読み替えず，次の最小限の項目を同じ期間・条件で記録する。

案件限界利益を売上計上額から案件変動費を引いた値，人時間当たり限界利益をこれを工程全体の人実働時間で割った値として比較できる。
共通費配賦後の管理上の利益や，本人時間に金額を割り当てて控除した試算は別に表示し，実際の会計利益・税務上の経費・本人所得と混同しない。

対象期間，案件の難度，資料量，料金及び比較条件が違えば，数字の差をAIの効果だけに帰属させることはできない。
この測定のために専用の観測製品を必須とせず，秘密情報を転記し過ぎない集計表で始める方法が考えられる。
受任範囲と処理上限への結び付けは，「一人法律事務所のAI活用は採算が合うか―受任範囲，確認時間，処理上限及び代替対応を決める方法」を参照されたい。

第９　LangSmithから学べることと限界

LangSmithの公式資料は，トレースにモデル呼出し，取得した文脈，ツール動作及びフィードバックを結び付け，既知の事例を使うオフライン評価，本番中のオンライン評価並びに失敗を評価データセットへ戻す循環を説明している。
また，固定ルールによる評価，別のAIによる評価，版間比較及び人による注釈を使い分ける構成を示している。

これらは，法律事務所の生成AIを改善する工程設計の参考になる。
もっとも，LangSmithは法令，裁判例又は証拠の正確性を認定する法的権威ではなく，製品のトレースが弁護士の職業上の義務を満たすことを保証するものでもない。

本記事はLangSmithの導入を推奨する製品比較ではない。
同じ考え方は，事務所内の表計算，簡易ログ又は別の観測・評価基盤でも実装でき，利用する製品は情報区分，契約，保存先，権限及び削除条件に応じて選ぶ。

第１０　一次資料及び判例の確認状況

法的な記述は，弁護士法，個人情報保護法，日本弁護士連合会の弁護士情報セキュリティ規程及び個人情報保護委員会の注意喚起を一次資料として確認した。
トレース及び評価機能に関する記述は，製品提供者であるLangChainの公式資料で確認した。
Zennの「LangSmithの概要と使い方」は理解の出発点となった二次資料であり，現在の機能又は法的評価の根拠にはしていない。

本記事の中心は評価・改善工程の設計であり，特定の紛争における法的責任を論じるものではないため，今回，新たな判例秘書の全文検索は実施しておらず，裁判例を直接の根拠として用いていない。
裁判例が必要となる個別問題では，裁判所ウェブサイトへの掲載の有無と，判例秘書その他のデータベースで本文を確認したかを分けて示す必要がある。

第１１　関連記事

法律事務所の暗黙知・経験知をAIで引き継ぐ方法―判断条件，反例，守秘及び更新責任では，採否の理由，反例，承認及び更新責任を一組で残す方法を説明している。

①弁護士情報セキュリティ規程とは―全７条の内容，基本的な取扱方法及び漏えい等事故の対応（AI作成）
②法律事務所の生成AI利用ガイドラインの作り方－許可サービス，入力情報，出力確認，委託先及び事故対応（AI作成）
③法律事務所のAIエージェント業務設計－目的・コンテキスト・権限・完了条件をどう分けるか（AI作成）
④法律調査AIの検索・再順位付けをどう評価するか－正解資料の取りこぼしと人の確認負荷（AI作成）
⑤法律事務所のAI・事件管理システム連携－問い合わせ，LINE，メール，FAX，期限及び書類をどうつなぐか（AI作成）
⑥AIに主張案を複数書かせて選ぶとき―項目別の採点，弁護士が決める重み，書き手と別の採点役及び選び方が割れた案の確認（AI作成）
⑦AIの仕事の評価基準を育てる手順―失敗の言語化，理想の成果物，落とし穴メモ及び評価を作り込む業務の選び方（AI作成）
⑧法務AIのベンチマーク順位を日本の法律事務所でどう読むか―Gemini 4 Argon，Harveyの全項目合格率及び判例秘書を使う評価方法（AI作成）

⑨日本語判決予測AIは実務でどこまで使えるか―日本語不法行為事件データセットの精度，判決文抽出の限界及び相談・和解での注意点（AI作成）

第１２　出典・参考資料

①e-Gov法令検索・弁護士法23条
②e-Gov法令検索・個人情報の保護に関する法律
③日本弁護士連合会「弁護士情報セキュリティ規程」
④個人情報保護委員会「生成AIサービスの利用に関する注意喚起等について」（令和5年6月2日）
⑤LangChain「What is LangSmith?」（製品提供者の公式資料。2026年9月7日）
⑥LangChain Docs「Evaluation types」（製品提供者の公式資料）
⑦LangChain「Trajectories now in LangSmith」（製品提供者の公式資料。2026年9月24日）
⑧LangChain Trust Center（製品提供者のセキュリティ・再委託先情報）
⑨LangChain Terms of Service（2026年6月2日改定）
⑩umi_mori「LangSmithの概要と使い方【LLMOps】」（二次資料。現在の製品仕様又は法的評価の根拠には用いていない。）

追加出典（令和８年１０月４日確認）：門脇・狩野「Japanese Legal Judgment Prediction Using ModernBERT and Generative AI-based Information Extraction」，２０２６年３月３日公表。事件の分割について３．４節・注６，原文抽出について４．４節・注７を確認した。
この論文は研究者の実験報告であり，裁判所がAIの注意義務又は責任を判断した資料ではない。

追加出典（令和８年１０月１３日確認）：Michael Hla「Machina Mirabilis」のEvaluation，My Cautious Conclusions及びPost-trainingの各節。
入力を整理して問いを与えることの限界と，評価AIに向けた結論列挙の挙動を確認した。
これは実験者の報告であり，本記事の模擬課題や採点例は法律事務所向けの応用提案である。