メインコンテンツへスキップ
       

AIの「検証税」とは―メルカリのナレッジカタログと法律調査への応用(AI作成)

第1 確認した知識を次の仕事へつなぐ

生成AIで下書きを短時間に作れても,根拠を探し直し,古い情報を修正し,引用を確認する時間が増えれば,仕事全体の負担は減らない。
メルカリの発表資料は,こうした確認や手戻りの負担を「検証税」という言葉で説明している。
その対策として示されたのが,メルカリの「データエージェントのためのナレッジカタログ」である。

本記事では,令和8年5月25日の同発表資料と,そこで引用された調査・論文を読み分けた上で,法律調査に応用する場合の管理表と評価方法を提案する。
資料作成者の設計説明,効果に関する実証結果及び本記事の応用案を区別して読む必要がある。

第2 「検証税」の数字は何を測っているか

1 Workdayの約37%はアンケート回答からの推計である

Workdayの報告書「Beyond Productivity: Measuring the Real Value of AI」は,AIによる短縮時間の約37%が手戻りで相殺されると報告している。
同報告書3頁は,この割合を約37%と表すほか,ほぼ4割とも表している。
同報告書12頁によれば,調査は令和7年11月にオンラインで行われ,全体の回答者は3200人であり,年商1億米ドル以上かつ従業員150人以上の組織で働くフルタイムの就業者が対象である。
回答者には,日常業務でAIを使っているか,AIに接していること等の条件がある。

算出に用いたのは,回答者が申告した時間の範囲の中点である。
短縮時間は自分の業務について,手戻り時間は他人から受け取った低品質なAI出力の説明・訂正・書直しについて尋ね,集計している。
端末の操作記録で実労働時間を測った結果ではなく,日本の法律事務所の負担をそのまま示す割合でもない。

出典:Workday報告書原本3頁・12頁,Workdayの公表資料。

2 Spider 2.0の割合はSQL生成のエラー分類である

メルカリ資料が引用するSpider 2.0論文は,実際の企業データの利用場面を踏まえたText-to-SQLの評価課題を扱う。
メルカリの発表資料は,この論文のエラー分類を,検証税の正体を説明する場面で引用している。
令和7年3月17日改訂版(arXiv v2)の4.2節では,無作為抽出した300例について二つのコードエージェント枠組みのエラーを分析し,データ分析の誤りを35.5%,テーブル・列の対応付けの誤りを27.6%と表示している。
これらは,メルカリでの確認時間又は検証費用の内訳を測った数値ではない。

図5と本文には,テーブル・列の対応付けの合計27.6%に対し,内訳が列16.6%とテーブル10.1%で,足すと26.7%になる不整合がある。
不整合の原因や訂正値は確定できないため,表示値と不整合を区別し,これらの割合から独自の削減率を計算することは避ける。
また,当時のモデルと設定での評価を,現在の全てのAI又は法律調査の誤り率へ一般化することはできない。

出典:Spider 2.0論文・令和7年3月17日改訂版(arXiv v2)4.2節・図5。

第3 Socratesが扱う知識と将来設計

発表資料では,複雑なクエリ等の作成を支援するSkills,社内固有の概念・未実装のルール・歴史的経緯等を扱うKnowledge,リソース探索時のコンテキストを抑えるResource Catalogが説明されている。
それぞれ,処理の進め方,業務上の意味,必要なデータの所在という異なる問題に対応する構成として読める。

Knowledge v2は「Socratesのこれから」の章に置かれ,生の知識を主張と根拠に構造化し,矛盾,過剰な推論,根拠の鮮度等を点検する設計が示されている。
図にはingest,compile,lint,deprecateに加えてqueryもあり,知識を取り込むだけでなく,検索・利用・見直しまでを考える構成である。
資料中の90%抑制は目標として記載されており,達成済みの削減率として紹介しない。

同資料のlintの説明にある「証拠能力」は,ここでは根拠に関する品質評価の項目として読む。
日本の訴訟法上の証拠能力について,法的な結論を示した資料ではない。
同発表資料だけから,法律調査で最終確認を自動化できると結論することもできない。

出典:メルカリの発表資料10~13枚目・14~21枚目。

第4 原資料とAIが編集する知識を分ける

発表資料が参照するKarpathyの「LLM Wiki」は,原資料,AIが更新するWiki及び整理・運用の規則を記すschemaという三つの層を説明している。
原資料は変更せず,整理した知識を別の層に置く点が,出典へ戻る経路を残す上で参考になる。
ただし,同文書は構想を説明するものであり,法律調査における精度向上又は確認時間の削減を実証した研究ではない。

検索時に原資料の断片を拾う仕組みと,あらかじめ主張・根拠・限定を整理する仕組みを組み合わせる方法も考えられる。
検索の仕組みを導入したことと,整理済みの知識が原資料に忠実であることは別に確かめる必要がある。

出典:Karpathy「LLM Wiki」原文。

第5 法律調査向けのナレッジカタログ案

法律調査に応用する場合,資料名とURLの一覧に加えて,その資料がどの命題をどの条件で支えるかを記録する方法が考えられる。
次の表は本記事の運用提案であり,メルカリの実装又は法定の様式ではない。

管理する項目記録する内容
命題その資料から述べられること
原資料法令,判決本文,行政資料,文献等の識別情報
該当箇所条項,頁,段落,図表番号
対象時点現行制度か,過去の事実に適用する制度か
記載の性質原文の記載,作成者の説明,利用者の推論
限定例外,反対資料,異なる定義,適用できない条件
確認状態原文確認済み,要旨のみ,未確認等
更新管理確認日,担当者,再確認の契機,依存する成果物

判例秘書等の識別番号を登録した場合も,番号の登録,判決本文の読取り,引用する命題との照合を別の工程として記録するとよい。
以前の確認記録を利用する場合と,今回あらためて原文を確認した場合も区別する。
AIが作った要約を読み返しただけで,原資料を再確認したことにはしない。

第6 取り込み,点検,利用停止をつなぐ

本記事の運用案は,①原資料の取込み,②命題と根拠の対応付け,③矛盾・根拠不足の点検,④条件に合う知識の検索・利用,⑤古くなった知識の利用停止,という流れである。
自動点検の結果を最終的な正しさの保証とせず,原資料が実際に命題を支えるか,例外や対象時点を落としていないかを確認する。

古い要約の利用停止と,原資料や訂正履歴の削除は分けて扱う。
根拠が変わったときに,その知識を使った検討メモ,原稿等へ戻れるよう,依存関係を残す方法が考えられる。
資料の保存・送信・共用の権限は,カタログの便利さとは別に確認する。

第7 効果は整備・更新の負担まで含めて測る

導入効果は,同じ資料群と同じ課題で,カタログの有無を比較して確かめる。
検索又は再順位付けも変更する場合は,カタログによる効果と分けて評価する。
次は,その切分けのための比較案であり,実験済みの結果を示す表ではない。

比較条件カタログ再順位付け
Aなしなし
Bありなし
Cなしあり
Dありあり

元の資料群,モデルの版,問い,評価基準等をそろえ,調整に使った課題と最終評価用の課題を分ける。
評価するのは,回答時間だけでなく,原典との一致,例外や反対資料の取りこぼし,確認・修正の時間及びカタログの作成・更新時間である。
誤った知識が多くの回答へ再利用される問題も評価対象にする。

Spider 2.0論文の4.3節は,関数文書を与えても,少数の例を示しても,同論文の実験設定では性能の改善が小さかったと報告している。
資料を追加するだけで業務が正確になると決めつけず,自分の業務で何が改善し,何が残るかを確かめる必要がある。

第8 よくある疑問

1 検索拡張があればカタログは不要か

検索と知識の整理では役割が異なる。
原資料を見つける機能に加え,定義,対象時点,例外及び根拠との対応を管理する機能を設け,組合せの効果を評価する方法が考えられる。

2 AIによるlintが通れば確認を終えてよいか

形式の確認,矛盾候補の抽出,原資料との照合及び最終的な採否は区別する。
この発表資料に自動点検の設計があることだけをもって,法律調査の最終確認まで不要になったとはいえない。

3 判例データベースの番号だけ残せばよいか

どの本文のどの箇所を読み,どの命題に用いたかまで残すと,再確認がしやすくなる。
データベースの識別番号が実在することと,その裁判例が今回の説明を支えることを分けて確かめる。

第9 関連記事

法律調査AIの比較条件と指標は,法律調査AIの検索・再順位付けをどう評価するか-正解資料の取りこぼしと人の確認負荷(AI作成)で説明している。

引用連鎖と統計の確認は,AIの出典リンクは信用できるか―架空統計の再引用と独立した裏付けの確認方法(AI作成)を参照されたい。

記事の公開前に原資料と引用を確認する手順は,AI作成又はAIリライトの記事を投稿するときに行うべきハルシネーション防止方法(AI作成)で整理している。