第1 この記事が扱う対象
生成AIは,事実に基づかない誤った情報を,もっともらしい文章の形で出力することがある。
この現象は一般に「ハルシネーション」と呼ばれる。
本記事は,生成AIを用いて記事を作成し,又は既存記事をリライトするときに推奨する確認手順を,生成,出典確認,公開前の検証及び公開後の訂正という工程ごとに整理するものである。
以下の手順は,山中弁護士又は特定の執筆者が,全ての記事について実施済みであることを説明するものではない。
「行うべき」という題名も,以下の全項目が一律に法律上の義務になるという意味ではなく,記事の正確性と読者による検証可能性を確保するための推奨を示している。
法令・会規による規律,弁護士会等による推奨,研究者の報告及び本記事の運用上の提案は,それぞれの根拠と適用範囲を分けて読む必要がある。
生成AIの誤りに関する実証研究や架空判例の引用事例を読む場合も,調査対象のモデル・版,質問,法域及び時点を確認し,当時の数値を現在の全モデル又は日本法に関する誤答率へ一般化しない。
「AI作成」と表示したこと,AIへ資料のURLを渡したこと又は別のAIも同じ回答をしたことだけで,原資料の取得と内容の確認が済んだことにはならない。
訴状,準備書面その他の裁判所へ提出する書面については,記事の公開とは区別し,事案の証拠,手続上の位置付け及び提出内容に即した確認が必要となる。
裁判所提出書面については,AIエージェントを使って裁判所提出書面を作成するときに行うべきハルシネーション防止方法(AI作成)を参照されたい。
第2 なぜ防止の仕組みが必要か
1 2023年当時の汎用モデルでは高率の誤りが報告された
米国スタンフォード大学の研究チームが2023年当時の主要な汎用大規模言語モデルに約80万件規模の法律質問を投げかけた実証研究では,ハルシネーション率がGPT-4で58%,GPT-3.5で69%,PaLM 2で72%,Llama 2で88%に達し,いずれのモデルも自らの誤りを予測できず,利用者が示した誤った法的前提をそのまま受け入れる傾向も確認された。この研究は査読を経て法学専門誌に掲載されている。
2 判例データベースに接続しても誤りは残る
同じ研究チームが2024年に公表し2025年に査読誌へ掲載した別の実証研究では,判例データベースに接続した検索拡張型(いわゆるRAG)の商用リーガルAIツール3種類に202件の法律質問を投げかけたところ,ハルシネーション率は17%から33%にとどまり,最も正答率が高いLexisNexis社のLexis+ AIでも65%であった。判例データベースへの接続は誤りを減らす方向に働くものの,これを根絶するものではない。したがって,利用者の側で確認の工程を設ける必要がある。
3 架空の判例引用が制裁に至った事例
生成AIが生成した架空の判例が法廷に提出され,裁判所の制裁に至った事例として最もよく知られているのが,米国ニューヨーク州南部地区連邦地方裁判所のMata v. Avianca, Inc.事件(事件番号22-cv-1461)である。2023年,原告代理人が却下申立てに対する意見書において,ChatGPTが生成した6件の完全に架空の判決(実在の裁判官の名を用いて作出されたものを含む)を引用して裁判所に提出した。同年6月22日,担当のP. Kevin Castel判事は連邦民事訴訟規則11条違反を認定し,代理人及びその所属事務所に5,000ドルの制裁金を科すとともに,架空判決に名前を使われた各裁判官への訂正書簡の送付を命じた。裁判所又は審判機関が生成AIの幻覚的な内容への依拠を認定した事案を継続的に集計しているデータベースによれば,この種の事案は令和8年8月6日現在で合計1,846件に達しており,米国が全体の約7割を占める。
4 URLを指定した生成結果が出版物へ引き継がれた例
国内の出版物でも,AIの生成結果を資料の検索結果と取り違えた事例がある。高文研の回収・絶版の告知及び令和8年10月10日付の著者説明によれば,『無責任の体系と沖縄戦―戦争犯罪・語り・平和教育―』の147頁~149頁に記載した三つの国際裁判例が実在せず,令和8年9月18日に回収・絶版を決定した。著者は,大学図書館のデータベースのURLを生成AIへ入力して出力された英文を,そのデータベースから取得した判例と思い込み,授業資料から著作へ確認・精査せず用いたと説明している。
この公表資料からは,使用したモデル・版や生成時の全記録までは確認できない。特定モデルの誤答率又は新旧モデルの優劣を示す事例としては扱わず,URLの指定,原資料の取得,本文の読了及び引用命題の照合を分ける必要性を示す例として読む。
第3 記事を投稿するときの防止方法
誤りを防ぐためには,一つのプロンプト又は一回の自己点検に頼らず,生成,原資料の取得,引用と命題の照合,公開前の確認,公開後の訂正及び作業体制の設計を分けて組み立てることを推奨する。
以下では,実施済みの運用の紹介ではなく,記事を投稿する際に採用を検討すべき手順を説明する。
1 生成段階――記憶から書かせない
生成AIに法令の条文を書かせる場面では,AIの記憶又は学習データからの書き起こしをそのまま採用せず,e-Gov法令検索その他の公式資料から取得した条文本文と照合する。
条文の内容がおおむね正しくても,条番号,項番号又は号番号が異なることがあるため,番号と本文を一件ずつ確認する。
公式データを取得したというだけで確認を終えない。
改正前の条文や経過措置が関わる場合は対象時点の法令を特定し,類似する法令との取り違え,取得途中の欠落,附則・別表及び最高裁判所規則等の確認先にも注意する。
一つのデータベースで取得できない場合は,そのことを資料の不存在と扱わず,制定・公布主体が公表する原文等の別の正式な確認経路へ戻す。
民事訴訟規則等の具体的な条文を引用する場合も,確認先,版及び該当条項を記録する。
条文を根拠に「〜が必要である」「〜はできない」と断定する文を書く場面では,取得した条文本文について,ただし書やかっこ書の有無,これが結論を反転させないか,原則を許容した上で例外を定める規定なのか要件を課す規定なのか,及び引用しようとする内容が本当にその項に含まれるかを確認する。条文の本文だけを読んで結論を組み立てると,ただし書によって結論が逆転する場面で必ず誤るためである。
2 裁判例の確認――記載する前に実在と内容を確かめる
裁判例を記事に記載する前に,裁判所ウェブサイトの裁判例検索又は判例秘書等の正式に利用できるデータベースで,実在及び内容を確認する。
確認対象は,裁判所名,裁判年月日及び事件番号だけでなく,記事に書く判旨又は規範を判決本文が直接裏付けるかという点に及ぶ。
限定的な事案についての判示を,より広い一般命題の根拠として使っていないかも点検する。
裁判所ウェブサイトで発見できない裁判例は,判例秘書等で原文を確認できるか調べる。
原文を確認していない裁判例は,確認済み判例として断定的に引用せず,紹介文献の情報にとどまることを明示するか,掲載を保留する。
文献の紹介や検索結果の要旨を,判決本文の確認に置き換えない。
限られた検索で発見できなかった場合は,検索範囲を示して「確認できなかった」と記載し,「存在しない」又は「裁判所ウェブサイト未掲載」とまで断定しない。
裁判例の確認記録は,①未検索,②検索実施,③件数のみ確認,④一覧又は事件ヘッダー確認,⑤全文確認,⑥判旨確認及び⑦記事中の命題との直接関連性確認という状態に分ける。
検索を実施した場合は,検索日,データベース,検索欄,検索語,結果件数及び事件IDを残す。
一覧に表示されたことと判決本文を読んだこと,本文を読んだことと当該命題を直接裏付ける判示があることを同一視しない。
限定検索で該当例を発見できなかった場合も,「存在しない」ではなく,検索範囲を示して「確認できなかった」と記載する。
法令,会規,裁判例,行政資料及びデータベースの確認状態を分けて記録する方法は,法律事務所の生成AI利用ガイドラインの作り方-許可サービス,入力情報,出力確認,委託先及び事故対応(AI作成)でも整理している。
一次資料,判例秘書,解説記事及び動画をどの順序で確認し,元文書の記載と解説側の付加をどう分けるかは,生成AIで法律調査をする方法―一次資料・判例秘書・解説記事・動画の使い分け(AI作成)を参照されたい。
さらに,確認箇所について,記載した主体と裁判所による採否を記録する。
原文に存在する文でも,当事者の主張,争いのない事実,裁判所の認定・判断及びデータベースの編集者による要旨を混同すれば,法的な裏付けの確認にはならない。
具体例として,知財高裁令和6年9月12日判決(令和6年(行コ)第10005号)の裁判所公開原文5頁にはGeminiを根拠とする施行時期の記載があるが,これは控訴人の主張であり,裁判所は6頁でその施行期日・経過措置の主張を採用していない。
本記事の従前の確認記録では,同事件の判例秘書L07920481の本文と裁判所公開原文を照合したとされている。
これはその時点の確認範囲を示す記録であり,今回新たに判例秘書で再検索したことを意味しない。
原審本文との独立照合はしておらず,控訴審の上記箇所を確認した範囲に限る。
生成AIの精度一般又は弁護士の注意義務を判断した先例として紹介しない。
追加の確認項目として,AIへURLを渡しただけの状態と,そのURLから原資料を実際に取得できた状態を明確に分ける。取得に失敗した場合は,生成された本文で欠落を埋めず,候補のまま保留する。取得した資料についても,表題・作成主体・版・裁判所名・年月日・事件番号を照合し,確認した頁又は段落と,そこが支える記事中の命題を対応させる。資料の一部だけを読んだ場合は,全文確認済みという表示を引き継がない。
3 引用・出典段階――読者が検証できる形で示す
読者が根拠を確かめられるよう,出典を本文に明記する。
公開資料には該当する原資料へのリンクを付け,ログインが必要な商業データベースでは,確認したデータベース,事件識別情報,書誌情報及び頁・段落を,利用条件に従って示す。
確認していない頁,事件番号又は識別番号を推測で補わない。
法令,裁判例及び文献の一覧は,本文の説明と対応する形で整理する。
出典確認では,①リンク先の資料が実在するか,②その資料が記事中の文章又は数値を裏付けるか,③その数値や評価を生んだ原資料があるかを分けて確かめる。複数の記事が同じ内容を述べていても,同一の根拠に由来する再引用であれば,独立した裏取りが増えたことにはならない。
統計を使う場合は,紹介記事から原調査へ遡り,調査主体,対象,期間,分母,単位及び算出方法を確認する。原調査を確認できないときは,紹介記事の存在をもって統計自体を検証済みとせず,採用を保留するか,確認できる範囲に記載を限定する。別のAIが同じ数値を回答しても,共通の元ページに依拠していれば独立した確認にはならない。
ページから値を正確に抽出することと,その値の真実性を確認することも別の工程である。欠損値を推測で補わないよう指示していても,元ページ自体の架空統計を検出できるとは限らない。数値の転記照合,原資料の実在及び方法の確認,今回の文章への適用の判断を分けて記録する。
架空統計の再引用と出典の独立性については,「AIの出典リンクは信用できるか―架空統計の再引用と独立した裏付けの確認方法(AI作成)」(https://yamanaka-bengoshi.jp/2026/10/22/ai-fake-statistics-source-independence/)で具体的に説明している。
引用の完全一致と,要約の内容の正確さも別に確かめる。
令和8年の日本語判決予測・情報抽出研究は,gpt-oss-120bを用いた特定設定で,抽出出力の約半数が判決原文に完全一致せず,書換えを禁じる指示でも大きく減らなかったと報告している(4.4節・注7)。
この数字を生成AI一般の誤答率とは扱わないが,逐語引用と表示する文は原文と照合し,要約文は要約と明示して,記載主体,採否及び起案中の命題との対応を確認する。
この確認方法と研究の限界は,日本語判決予測AIの実務上の注意点でも説明している。
資料の内容が正確であることと,その資料を取得・外部送信・公開できることは別に確認する。
有料の書籍又は会員制データベースでは,指定された閲覧・コピー・印刷・ダウンロードの範囲,外部AIに送る情報と送信先,原文を引用又は転載する権限を工程ごとに点検する。
出典の表示や学習オフ設定だけで,資料提供者からの利用許諾を得たことにはならない。
弁護士ドットコムLIBRARYについては,利用規約第4条,第13条及び第14条の一般的な利用制限と,第20条のサービス内AIが生成する短文の利用制限を分ける必要がある。
同サービスのAIアシスタントによる短文を公開原稿へ転用しない。
外部AI処理について許諾が未確認の状態で利用する方針を採る場合も,それを許諾済みと表示せず,対象範囲,送信先,目的及び確認状況を記録する。
具体的な工程の分け方は,有料の法律・税務資料を生成AIで分析するときの利用権限で整理している。
動画又はまとめ記事が別の資料を解説している場合は,解説者の発言と元資料の記載を分ける。
元資料を取得して対応箇所を読み,元資料にある説明,解説者が加えた評価・経験談及び記事執筆者の推論を記録する。
例えば,まとめ記事の筆者が独自に試した結果を,紹介対象の動画の発言として引用しない。
NotebookLMの引用表示が付いていても,原資料の全ての要素を取り込んだとは限らない。
Googleのソース取込みに関する公式ヘルプによれば,YouTube URLから取り込むのは字幕テキストであり,ウェブページではHTMLのテキストが対象となり,画像,埋込み動画及びリンク先ページは取り込まれない。
Googleファイルの脚注やコメントも取り込まれないと説明されている。
動画の画面実演,図表,脚注又はリンク先が命題の根拠になる場合は,それぞれの元資料を別に確認する(令和8年10月25日確認)。
複数のAIで同じ説明が出ても,同じ字幕又は同じ要約から作った回答であれば,独立した裏付けが増えたことにはならない。
資料整理と原稿作成を分担させる場合も,引用の対応,適用時点及び元資料の記載範囲に戻って点検する。
作業手順として残す方法は,弁護士のClaude Code Skills活用法で説明している。
4 公開前検証段階――執筆と検証を同じ工程に混ぜない
記事を公開する前に,執筆とは別の確認工程を設けることを推奨する。
引用,法令条文,数値,事件識別情報及び出典リンクを項目ごとに照合し,中心命題を支える資料が未確認である場合は,断定を限定するか,該当部分の公開を保留する。
機械的な検査は補助手段として用い,原資料との意味の一致,例外及び適用時点は人が確認する。
文章の流れに沿った自己点検だけでは,起案時に採用した誤った前提をそのまま受け入れやすい。
事件の識別番号についても,番号の体裁だけでなく,リンク先の裁判所名,年月日,事件番号及び本文が意図した事件と一致するかを開いて調べる。
起案中の確認と公開直前の確認を分け,どの項目を誰がどの資料で確認したかを残す。
官公庁の統計資料を用いる場合は,数値と項目の対応,対象期間,分母及び単位を原資料と照合する。
表形式のPDFから文字を取り出すと項目と数字の対応が崩れることがあるため,文字抽出の結果だけで判断せず,必要に応じて頁の画像,文字の座標及び内訳の合計も用いて確かめる。
取得ツールの失敗表示だけで,原PDFの破損又は資料の不存在を判断しない。
具体例は,AIエージェントで法務省の司法試験ページを読むときの障壁―403拒否,二重のリンク,PDFの表の崩れ及び確認手順で紹介している。
さらに,公開前の検証では,引用及び数値が原資料と一致するかだけでなく,最終的な執筆者が,①記事の中心命題とそれを直接支える一次資料,②最も重要な例外,反対資料又は未確認事項,③どの資料又は前提が変われば記事の結論を改める必要があるか,の三点を自分の言葉で説明できるかを確認する。説明できない場合は,機械的な検査を通過していても公開を保留する。
この理解確認は,引用確認の代わりではなく,その後の法改正,資料の訂正又は読者からの指摘に対応するための別工程である。詳しくは,AIが難問を解いても人間の思考過程を残す理由-形式検証,独立査読,若手育成及び法律実務への示唆(AI作成)で整理している。
5 事後の検証と再発防止
誤りが判明した場合は,誤った記載,原因,読者又は他の成果物への影響,訂正内容及び再確認日を記録する。
同じ型の誤りが繰り返される場合は,確認箇所,公開を保留する条件及び別経路での点検を見直す。
条文が削除されたと説明する場合も,改正法と対象時点の条文を確認し,同じ条番号に別内容の規定が置かれていないかを調べる。
条文を直接引用しない説明も,裏付け確認の対象から外さない。
失敗記録をAI用の手順書へ反映する場合は,発生日,対象業務,環境及び適用範囲を付ける。
過去の障害に対する回避策を恒久的な仕様と扱わず,サービス又は環境が変わったときに再確認する。
重複する記録は整理しつつ,元記録,訂正理由及び影響先との関係は追跡できるようにする。
失敗の記録の作り方と保守の方法は,AIの仕事の評価基準を育てる手順―失敗の言語化,理想の成果物,落とし穴メモ及び評価を作り込む業務の選び方(AI作成)で整理している。
内部の研修資料,知識メモ又は過去のAI回答を公開原稿へ転用するときも,新たな確認工程を置く。内部資料に出典URLや「確認済み」の記載があっても,確認した原資料・版・箇所・命題が対応しないものは未確認として扱う。誤りが判明した場合は,元の記録だけでなく,そこから作られた記事,要約及び共有資料をたどり,影響範囲を確かめて訂正する方法が考えられる。
訂正の影響を追跡するため,根拠から利用先を逆にたどれる記録を作る方法がある。
次の表は導入時の記録例であり,特定の執筆者が実施済みであることを示すものではない。
| 記録する項目 | 記入内容の例 |
|---|---|
| 根拠 | 資料ID,作成主体,版・取得日,頁・定理番号,元データの保存先 |
| 支える命題 | その資料を根拠に記事で述べた結論と,その前提・限定 |
| 利用先 | 記事のURLと節,AI要約,検索用説明文,関連記事及び保存メモ |
| 訂正の影響 | 根拠の撤回,条件の追加,数値の変更又は参照先だけの変更の別 |
| 対応判断 | 掲載維持,表現の限定,利用の保留又は撤回と,その理由 |
| 完了記録 | 判断者,確認日,修正後の保存値と公開表示の確認結果 |
具体例として,OpenAIが公表した数学論文集の変更履歴には,令和8年10月7日,符号の誤りによる論文の撤回と,それに依存する論文の撤回が記載されている。
この履歴は,根拠の変更が派生する成果物へ及ぶ例として参照できるが,法律記事又は税務判断の誤り率を示す資料ではない。
根拠資料が変わったときは,本文を訂正したことだけで完了とせず,同じ命題を使った要約,別記事及び保存メモの採否をそれぞれ判断する。
全てを一律に削除するのではなく,影響する命題と利用先を特定し,残せる根拠と訂正が必要な箇所を分ける。
出典:OpenAI math「history.md」(令和8年10月7日更新項目)
6 作業体制の設計上の工夫
生成AIの回答に対しては,弱点,反対資料及び結論が成立しない条件を挙げさせる方法がある。
AI自身の草案を別の視点から批判させる方法も補助として使えるが,そのことだけで誤りが相殺された,又は独立した検証が済んだとは扱わない。
重要な命題については,原資料と人の判断へ戻る。
事実の一致と,その事実から導く評価又は見立てを分けて確認する。
条文,裁判例,数値及び引用が正しいことから,記事独自の評価まで当然に正しいとはいえない。
評価を公表する場合は,執筆者が採否を判断し,根拠,前提,反対材料及び確信の程度を示すことを推奨する。
個別の事案又は資料に限った結論は,どの条件の下で成り立つかが分かるように記載する。
モデル,プラン,コネクタ,利用規約又は実行環境を変更するときは,モデル名の置換だけで済ませない。
新しいモデルは,既存の指示ファイル,スキル及び長期記録に対する反応が変わり得るため,対象範囲,優先順位,停止条件,外部への保存・送信・公開権限及び完了判定が矛盾していないかを監査する。
OpenAIのGPT-6 Astra向け公式ガイドも,同モデルはスキル及びAGENTS.md等の指示に影響されやすいとして,参照可能な指示ファイルの監査を推奨している。
ただし,これは製品の挙動に関する提供者の説明であり,日本法の条文又は裁判例の引用精度を保証する一次資料ではない。
モデル変更の可否は,代表的な法律業務の人工事例を用い,一次資料への到達,条文・裁判例・URLの一致,対象外変更の有無,外部書込み前の権限確認及び保存後の読戻しを比較して判断する。
平均点が高くても,重大な一項目の誤りが成果物全体を不適切にし得るため,必須条件については一件でも欠落すれば不合格とする。
同じAIによる再点検の限界と停止条件
AI自身が作成した文章を別人の草案として批判させる方法は,弱点候補を増やすためには有用である。しかし,作成時の誤った前提,欠落資料又は評価基準の偏りを同じAI及び同じ会話が共有するため,独立した検証とは扱わない。重要な命題は,一次資料,別系統の評価又は弁護士本人の確認へ戻す。
また,反復回数,費用上限,無改善で止める回数及び重大な誤りが一件でも生じたときの停止条件を開始前に定める。平均点又は文章の自然さが改善しても,存在しない裁判例,引用命題と原文の不一致又は適用時点の誤りを相殺しない。代理指標,独立確認及び人への返却条件の詳しい整理は,「AIの改善ループが失敗する条件-代理指標,仕様ゲーミング,遅れて分かる成果及び人が決める停止条件(AI作成)」を参照されたい。
7 日本語整文と法的検証を別工程にする
文章が自然であることと,法律内容が正確であることは別の合格条件である。
そのため,記事の構成及び根拠を固める工程と,日本語表現を整える工程を分け,整文を行うモデルには,事実,数字,日付,固有名詞,引用,URL,法的評価及び出典の位置付けを追加,削除又は変更させないよう,整文の前後で照合することを推奨する。
整文前には,一次資料から採用する命題とその根拠を対応させた主張台帳を作り,整文後は元原稿及び主張台帳との意味の差分を確認する。
機械的な文章検査で警告が0件になった場合でも,意味の変化,条件の脱落又は新しい断定の混入がないとは限らないため,警告0件だけでは公開可能と判断しない。
モデルを選ぶ場合は,同一の公開資料又は人工事例を用いて複数回実行し,重大な事実誤り,引用誤り又は必須条件の欠落が1件でもあれば不合格とした上で,人による修正時間,再実行回数,費用,最悪の結果及び出力のばらつきを比較する。
生成速度が速いことと,検証及び修正を含む総作業時間が短いことも区別する。
Xへの投稿では,Gemini 3.8 Flashが投稿者の500本を超える日本語検査規則を警告0件で通過し,推敲時間が減ったとの使用結果が報告されている。
もっとも,検査規則,入力原稿,プロンプト,全出力及び反復結果は公開されていないため,これは有用な使用報告ではあるが,同モデルの日本語文章能力が一般的に優れていることを確認する資料ではない。
Googleのモデル仕様によれば,Gemini 3.8 Flashは安定版として提供されているが,モデルカードは基盤モデルに一般的な限界としてハルシネーションが生じ得ることを明記している。
また,Harvey’s Legal Agent Benchmarkの評価結果では,同モデルの個別基準合格率は90.2パーセントであるのに対し,全基準を満たしたタスク完遂率は10.0パーセントである。この評価は日本法又は日本語文章に特化したものではないが,法律関係の成果物では平均的な合格率だけでなく,全ての必須条件を満たすかを確認する必要があることを示す例となる。
さらに,Anthropicが令和8年9月に公表したClaude Fable 5.1及びClaude Mythos 5.1のSystem Cardでは,Legal Agent Benchmarkの1,235問について,Fable 5.1の平均criterion-pass rateは90.81%である一方,all-pass rateは19.09%であった。held-out setでも,xhigh effortにおいてcriterion-pass rateは93.3%,all-pass rateは16.7%であった。もっとも,同評価は合成資料及びLLMによる判定を含み,日本法,裁判所ウェブサイト,e-Gov法令検索又は判例秘書を用いる日本法の記事作成工程を直接評価したものではない。したがって,これらの数値は日本の法律実務にそのまま移すのではなく,大半の確認項目が正しくても,重大な一項目の欠落が成果物全体を不適切にし得ることを示す資料として用いる。
異なる試験の順位や全項目合格率を日本の法律事務所でどう扱うかについては,法務AIのベンチマーク順位を日本の法律事務所でどう読むか―Gemini 4 Argon,Harveyの全項目合格率及び判例秘書を使う評価方法(AI作成)で整理した。
8 事実から評価・予測へ移るときの確認
出典が実在し,引用が正確であっても,そこから導いた評価又は予測まで裏付けられるとは限らない。
この点を確認するための追加項目として,記載を①原資料で確認した事実,②資料の作成者又は発言者が述べた内容,③記事作成者の推論・評価,④将来の予測に分け,それぞれの前提と確認方法を明示することが有用である。
これは検証手順の提案であり,分類表を作ったことだけで記載内容の真偽や推論の妥当性が保証されるわけではない。
例えば,民間の賞を受賞したことと,弁護士会又は法曹界全体が正式に評価したことは別である。
不開示の範囲が変わったことと,決定者が特定の請求者を警戒したことも別であり,裁判官の経歴から個別事件での判断・訴訟指揮を確定することはできない。
評価を述べる場合には,確認できる対象,発言者,場面及び資料の範囲を超えていないかを点検する。
アクセスが「20〜30%減る」,ある反応の可能性が「極めて高い」等の表現では,分母,対象,期間,観測値又は推定方法を確認する。
推定に必要な資料がない場合は,数値や確率を作らず,起こり得る複数の経過と,それぞれを判断するために必要な観測を示す。
将来予測が外れたことだけで直ちにハルシネーションと決まるわけではないが,未観測の予測を既成事実として記載したり,裏付けのない数値を実測値のように示したりすることは避けなければならない。
時点の管理も必要である。
過去の状況を論じるときは,サービスの開始日,機能の追加日,資料の公表日及び取得日を分け,現在の機能や後日公表された資料を,過去にも存在した根拠として使わない。
相手の発言を紹介する場合も,「そう述べていること」の確認と,「述べた事実が独立に確認できたこと」を区別する。
AI作成・AI要約という表示は,これらの確認を省略する理由にはならない。
本文を修正した場合には,要約,題名及び検索用説明文にも旧来の断定が残っていないかを照合する必要がある。
第三者による記事利用を検討するときの事実・権利・流入分析の区別は,自サイトの記事・データを他サイトに利用されたとき―著作権,出典表示,流入減少の立証と初動対応(AI作成)で具体化している。
第4 弁護士業務に関する指針との関係
1 弁護士会が示している考え方
東京弁護士会は,2025年3月27日に「弁護士業務における生成AIサービスの適正利用ガイドライン」を施行している。同会の会報に掲載された特集記事によれば,このガイドラインは,出力結果を業務に用いる場合には一次資料の確認を含む検証を行うことを推奨している。もっとも,同ガイドラインは,生成AIの適正利用を促進するための推奨事項であって,遵守を義務付けるものではなく,綱紀及び懲戒の直接の基準とされるものでもないとされており,その内容が秘密保持義務(弁護士職務基本規程第23条等),信用(同規程第6条)及び法令等の調査義務(同規程第37条)等と関係するものとして位置づけられている。出力内容の適切性について弁護士が原則として最終的な責任を負うという点は,同ガイドラインの内容としてではなく,弁護士の誠実義務及び専門家責任の観点から,同特集記事の執筆者の見解として述べられているものである。同特集記事に掲載された注意点の一覧表も,出力内容の検証という項目において,架空判例,誤引用及び誤った制度説明等のハルシネーションが生じる可能性を踏まえ,一次資料その他の信頼できる資料により確認すべきことを挙げている。
日本弁護士連合会のAI戦略ワーキンググループも,2025年9月,「弁護士業務における生成AIの利活用等に関する注意事項」を取りまとめ,2026年2月に更新版を公表している。同注意事項は,会員限りの資料とされ,会員外への交付等を控えるべきものとされているため,本記事ではその内容を引用しない。なお,同注意事項は,日本弁護士連合会としての公式な見解を示すものではなく,綱紀・懲戒の直接の基準とされることも想定していないものとされている。
2 これらの指針と記事作成時の確認手順との関係
前記第3の手順は,原資料を確認し,出力の採否を自ら判断するという考え方を,記事作成の工程へ具体化した提案である。
弁護士業務に関する規律や推奨と,一般の記事投稿における編集上の手順を同一視せず,誰が,どの業務で,どの規律の適用を受けるかを分けて確認する。
根拠となる規律としては,次のものが挙げられる。
- 弁護士職務基本規程第37条(法令等の調査)第1項は,「弁護士は,事件の処理に当たり,必要な法令の調査を怠ってはならない。」と定め,同条第2項は,「弁護士は,事件の処理に当たり,必要かつ可能な事実関係の調査を行うように努める。」と定める。
- 同規程第7条(研鑽)は,「弁護士は,教養を深め,法令及び法律事務に精通するため,研鑽に努める。」と定める。
- 同規程第6条(名誉と信用)は,「弁護士は,名誉を重んじ,信用を維持するとともに,廉潔を保持し,常に品位を高めるように努める。」と定める。
- 民事訴訟規則第85条(調査の義務)は,「当事者は,主張及び立証を尽くすため,あらかじめ,証人その他の証拠について事実関係を詳細に調査しなければならない。」と定める。
これらの規律が,前記第3の全ての編集手順を一律に義務付けるという意味ではない。
法律情報を記事として公表する場合にも,条文,裁判例及び事実の裏付けを確認し,専門職としての業務に用いる場合は,事件処理に関する義務を別途点検することが重要である。
第5 確認手順の限界と継続的な見直し
原資料への接続,チェックリスト又はAIによる再点検を導入しても,誤りがなくなると保証することはできない。
確認手順を定めたことと,対象記事で各手順を実行したことを分けて記録する必要がある。
公開後に根拠資料の訂正,法改正又は誤引用が判明した場合は,記事中の結論,AI要約及び派生する記載まで影響を調べ,必要な修正を行う。
資料の公表日,確認日及び対象時点を区別し,過去のモデル評価を現在の性能評価として引き継がない。
モデル評価に関する追記は,令和8年10月1日までに確認した公表資料に基づく。
以上の検証工程を,作業時間ではなく一次資料の確認,事実評価,説明可能性及び意思決定支援という専門価値の観点から整理したものとして,AI時代に弁護士の価値は「作業時間」からどこへ移るか―一次資料,事実評価,戦略判断及び意思決定支援(AI作成)がある。
出典・参考資料
1 法令・会規
①弁護士職務基本規程(平成16年11月10日会規第70号)第6条・第7条・第23条・第37条(日本弁護士連合会)
②民事訴訟規則(平成8年最高裁判所規則第5号)第85条(裁判所ウェブサイト)
③連邦民事訴訟規則(Federal Rules of Civil Procedure)第11条(コーネル大学ロースクール法情報研究所)
2 裁判例
①Mata v. Avianca, Inc., 678 F.Supp.3d 443(米国ニューヨーク州南部地区連邦地方裁判所,2023年6月22日,事件番号22-cv-1461(PKC),判決文(カリフォルニア大学バークレー校ロースクール))
3 文献
①M. Dahl, V. Magesh, M. Suzgun & D. E. Ho, “Large Legal Fictions: Profiling Legal Hallucinations in Large Language Models,” Journal of Legal Analysis, Vol.16 No.1(2024年)64頁~93頁(Oxford Academic)
②V. Magesh, F. Surani, M. Dahl, M. Suzgun, C. D. Manning & D. E. Ho, “Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools,” Journal of Empirical Legal Studies(2025年)1頁~27頁(スタンフォード大学)
③特集「弁護士業務における生成AIの利活用と留意点」LIBRA Vol.26 No.7-8(2026年7-8月号)2頁~18頁のうち,有本真由「弁護士業務における生成AI活用上の主な注意点」14頁~18頁(東京弁護士会)
④日本弁護士連合会AI戦略ワーキンググループ「弁護士業務における生成AIの利活用等に関する注意事項」2026年(令和8年)2月更新版(会員限りの資料)
4 ウェブ資料
①AI Hallucination Cases Database(Damien Charlotin運営,令和8年8月6日最終更新分を確認)
②e-Gov法令検索(デジタル庁)
③裁判所ウェブサイト 裁判例検索(最高裁判所)
④Gemini 3.8 Flashによる日本語執筆の使用報告(令和8年9月6日確認)
⑤Google AI for Developers「Gemini 3.8 Flash」(令和8年9月2日更新)
⑥Google DeepMind「Gemini 3.8 Flash – Model Card」
⑦Vals AI「Harvey’s Legal Agent Benchmark」(令和8年9月4日更新)
⑧Anthropic「Claude Fable 5.1 & Claude Mythos 5.1 System Card」(令和8年9月。Legal Agent Benchmarkは81頁~84頁。基盤モデル提供者による評価資料)
⑨OpenAI「Model guidance」(GPT-6 Astraに関する提供者の公式説明。令和8年9月7日確認)
今回の追記の出典(令和8年10月4日確認):①知財高裁令和6年9月12日判決・令和6年(行コ)第10005号,裁判所公開原文5頁~6頁及び判例秘書L07920481(控訴人の主張と裁判所の判断の区別)。②門脇・狩野「Japanese Legal Judgment Prediction Using ModernBERT and Generative AI-based Information Extraction」,2026年3月3日公表,4.4節・注7(当該モデルと設定による抽出結果)。
①の判決で②の研究結果又はAI利用責任を裏付けたものではない。
高文研「『無責任の体系と沖縄戦』回収・絶版のお知らせとお詫び」(令和8年10月10日追記,令和8年10月13日確認)。上記第2の4及び資料転用時の確認に関する補足の出典であり,モデル別の精度を測定した資料ではない。
OpenAI math「history.md」(令和8年10月7日更新項目)。第3の5の記録例の出典であり,法律記事又は税務判断の誤り率を示す資料ではない。