第1 この記事が扱う対象第2 なぜ防止の仕組みが必要か1 2023年当時の汎用モデルでは高率の誤りが報告された2 判例データベースに接続しても誤りは残る3 架空の判例引用が制裁に至った事例4 URLを指定した生成結果が出版物へ引き継がれた例第3 記事を投稿するときの防止方法1 生成段階――記憶から書かせない2 裁判例の確認――記載する前に実在と内容を確かめる3 引用・出典段階――読者が検証できる形で示す4 公開前検証段階――執筆と検証を同じ工程に混ぜない5 事後の検証と再発防止6 作業体制の設計上の工夫7 日本語整文と法的検証を別工程にする8 事実から評価・予測へ移るときの確認第4 弁護士業務に関する指針との関係1 弁護士会が示している考え方2 これらの指針と記事作成時の確認手順との関係第5 確認手順の限界と継続的な見直し出典・参考資料1 法令・会規2 裁判例3 文献4 ウェブ資料第1 この記事が扱う対象
生成AIは,事実に基づかない誤った情報を,もっともらしい文章の形で出力することがある。
この現象は一般に「ハルシネーション」と呼ばれる。
本記事は,生成AIを用いて記事を作成し,又は既存記事をリライトするときに推奨する確認手順を,生成,出典確認,公開前の検証及び公開後の訂正という工程ごとに整理するものである。
以下の手順は,山中弁護士又は特定の執筆者が,全ての記事について実施済みであることを説明するものではない。
「行うべき」という題名も,以下の全項目が一律に法律上の義務になるという意味ではなく,記事の正確性と読者による検証可能性を確保するための推奨を示している。
法令・会規による規律,弁護士会等による推奨,研究者の報告及び本記事の運用上の提案は,それぞれの根拠と適用範囲を分けて読む必要がある。
生成AIの誤りに関する実証研究や架空判例の引用事例を読む場合も,調査対象のモデル・版,質問,法域及び時点を確認し,当時の数値を現在の全モデル又は日本法に関する誤答率へ一般化しない。
「AI作成」と表示したこと,AIへ資料のURLを渡したこと又は別のAIも同じ回答をしたことだけで,原資料の取得と内容の確認が済んだことにはならない。
訴状,準備書面その他の裁判所へ提出する書面については,記事の公開とは区別し,事案の証拠,手続上の位置付け及び提出内容に即した確認が必要となる。
裁判所提出書面については,AIエージェントを使って裁判所提出書面を作成するときに行うべきハルシネーション防止方法(AI作成)を参照されたい。
第2 なぜ防止の仕組みが必要か1 2023年当時の汎用モデルでは高率の誤りが報告された
米国スタンフォード大学の研究チームが2023年当時の主要な汎用大規模言語モデルに約80万件規模の法律質問を投げかけた実証研究では,ハルシネーション率がGPT-4で58%,GPT-3.5で69%,PaLM 2で72%,Llama 2で88%に達し,いずれのモデルも自らの誤りを予測できず,利用者が示した誤った法的前提をそのまま受け入れる傾向も確認された。この研究は査読を経て法学専門誌に掲載されている。
2 判例データベースに接続しても誤りは残る
同じ研究チームが2024年に公表し2025年に査読誌へ掲載した別の実証研究では,判例データベースに接続した検索拡張型(いわゆるRAG)の商用リーガルAIツール3種類に202件の法律質問を投げかけたところ,ハルシネーション率は17%から33%にとどまり,最も正答率が高いLexisNexis社のLexis+ AIでも65%であった。判例データベースへの接続は誤りを減らす方向に働くものの,これを根絶するものではない。したがって,利用者の側で確認の工程を設ける必要がある。
3 架空の判例引用が制裁に至った事例
生成AIが生成した架空の判例が法廷に提出され,裁判所の制裁に至った事例として最もよく知られているのが,米国ニューヨーク州南部地区連邦地方裁判所のMata v. Avianca, Inc.事件(事件番号22-cv-1461)である。2023年,原告代理人が却下申立てに対する意見書において,ChatGPTが生成した6件の完全に架空の判決(実在の裁判官の名を用いて作出されたものを含む)を引用して裁判所に提出した。同年6月22日,担当のP. Kevin Castel判事は連邦民事訴訟規則11条違反を認定し,代理人及びその所属事務所に5,000ドルの制裁金を科すとともに,架空判決に名前を使われた各裁判官への訂正書簡の送付を命じた。裁判所又は審判機関が生成AIの幻覚的な内容への依拠を認定した事案を継続的に集計しているデータベースによれば,この種の事案は令和8年8月6日現在で合計1,846件に達しており,米国が全体の約7割を占める。
4 URLを指定した生成結果が出版物へ引き継がれた例
国内の出版物でも,AIの生成結果を資料の検索結果と取り違えた事例がある。高文研の回収・絶版の告知及び令和8年10月10日付の著者説明によれば,『無責任の体系と沖縄戦―戦争犯罪・語り・平和教育―』の147頁~149頁に記載した三つの国際裁判例が実在せず,令和8年9月18日に回収・絶版を決定した。著者は,大学図書館のデータベースのURLを生成AIへ入力して出力された英文を,そのデータベースから取得した判例と思い込み,授業資料から著作へ確認・精査せず用いたと説明している。
この公表資料からは,使用したモデル・版や生成時の全記録までは確認できない。特定モデルの誤答率又は新旧モデルの優劣を示す事例としては扱わず,URLの指定,原資料の取得,本文の読了及び引用命題の照合を分ける必要性を示す例として読む。
第3 記事を投稿するときの防止方法
誤りを防ぐためには,一つのプロンプト又は一回の自己点検に頼らず,生成,原資料の取得,引用と命題の照合,公開前の確認,公開後の訂正及び作業体制の設計を分けて組み立てることを推奨する。
以下では,実施済みの運用の紹介ではなく,記事を投稿する際に採用を検討すべき手順を説明する。
1 生成段階――記憶から書かせない
生成AIに法令の条文を書かせる場面では,AIの記憶又は学習データからの書き起こしをそのまま採用せず,e-Gov法令検索その他の公式資料から取得した条文本文と照合する。
条文の内容がおおむね正しくても,条番号,項番号又は号番号が異なることがあるため,番号と本文を一件ずつ確認する。
公式データを取得したというだけで確認を終えない。
改正前の条文や経過措置が関わる場合は対象時点の法令を特定し,類似する法令との取り違え,取得途中の欠落,附則・別表及び最高裁判所規則等の確認先にも注意する。
一つのデータベースで取得できない場合は,そのことを資料の不存在と扱わず,制定・公布主体が公表する原文等の別の正式な確認経路へ戻す。
民事訴訟規則等の具体的な条文を引用する場合も,確認先,版及び該当条項を記録する。
条文を根拠に「〜が必要である」「〜はできない」と断定する文を書く場面では,取得した条文本文について,ただし書やかっこ書の有無,これが結論を反転させないか,原則を許容した上で例外を定める規定なのか要件を課す規定なのか,及び引用しようとする内容が本当にその項に含まれるかを確認する。条文の本文だけを読んで結論を組み立てると,ただし書によって結論が逆転する場面で必ず誤るためである。
2 裁判例の確認――記載する前に実在と内容を確かめる
裁判例を記事に記載する前に,裁判所ウェブサイトの裁判例検索又は判例秘書等の正式に利用できるデータベースで,実在及び内容を確認する。
確認対象は,裁判所名,裁判年月日及び事件番号だけでなく,記事に書く判旨又は規範を判決本文が直接裏付けるかという点に及ぶ。
限定的な事案についての判示を,より広い一般命題の根拠として使っていないかも点検する。
裁判所ウェブサイトで発見できない裁判例は,判例秘書等で原文を確認できるか調べる。
原文を確認していない裁判例は,確認済み判例として断定的に引用せず,紹介文献の情報にとどまることを明示するか,掲載を保留する。
文献の紹介や検索結果の要旨を,判決本文の確認に置き換えない。
限られた検索で発見できなかった場合は,検索範囲を示して「確認できなかった」と記載し,「存在しない」又は「裁判所ウェブサイト未掲載」とまで断定しない。
裁判例の確認記録は,①未検索,②検索実施,③件数のみ確認,④一覧又は事件ヘッダー確認,⑤全文確認,⑥判旨確認及び⑦記事中の命題との直接関連性確認という状態に分ける。
検索を実施した場合は,検索日,データベース,検索欄,検索語,結果件数及び事件IDを残す。
一覧に表示されたことと判決本文を読んだこと,本文を読んだことと当該命題を直接裏付ける判示があることを同一視しない。
限定検索で該当例を発見できなかった場合も,「存在しない」ではなく,検索範囲を示して「確認できなかった」と記載する。
法令,会規,裁判例,行政資料及びデータベースの確認状態を分けて記録する方法は,法律事務所の生成AI利用ガイドラインの作り方-許可サービス,入力情報,出力確認,委託先及び事故対応(AI作成)でも整理している。
一次資料,判例秘書,解説記事及び動画をどの順序で確認し,元文書の記載と解説側の付加をどう分けるかは,生成AIで法律調査をする方法―一次資料・判例秘書・解説記事・動画の使い分け(AI作成)を参照されたい。
さらに,確認箇所について,記載した主体と裁判所による採否を記録する。
原文に存在する文でも,当事者の主張,争いのない事実,裁判所の認定・判断及びデータベースの編集者による要旨を混同すれば,法的な裏付けの確認にはならない。
具体例として,知財高裁令和6年9月12日判決(令和6年(行コ)第10005号)の裁判所公開原文5頁にはGeminiを根拠とする施行時期の記載があるが,これは控訴人の主張であり,裁判所は6頁でその施行期日・経過措置の主張を採用していない。
本記事の従前の確認記録では,同事件の判例秘書L07920481の本文と裁判所公開原文を照合したとされている。
これはその時点の確認範囲を示す記録であり,今回新たに判例秘書で再検索したことを意味しない。
原審本文との独立照合はしておらず,控訴審の上記箇所を確認した範囲に限る。
(続きを読む...)AI作成又はAIリライトの記事を投稿するときに行うべきハルシネーション防止方法(AI作成)