法務AIのベンチマーク順位を日本の法律事務所でどう読むか―Gemini 4 Argon，Harveyの全項目合格率及び判例秘書を使う評価方法（AI作成）

第１　公表順位から直ちに導入を決めない

令和８年９月３０日にGoogleがGemini 4 Argonを発表した。Googleは法務・金融を含む複雑な業務での性能を説明し，Vals Index及びHarveyのLegal Agent Benchmark（LAB）を挙げている。これはモデル提供者による公表であり，日本法に関する法律事務所の案件での正確性を実証したものではない。Googleの発表とVals AIのモデル別結果を区別して読む必要がある。
本記事では，令和８年１０月１日に確認できた公表資料から，数値の意味と，日本の法律事務所で実機評価をする手順を整理する。令和８年１０月３日には，国内法務AIによる予備試験３７５点の公式発表を追加確認し，第２の４にその読み方を追記した。既存の海外ベンチマークの数値は１０月１日時点の確認値である。特定モデルの採用を勧めるものではない。

試行回数と評価入力に関する説明は，令和８年１０月１３日に確認した実験者の公開資料を踏まえた追記である。
前記の海外ベンチマークの数値を同日現在の値へ更新したものではない。

第２　68.90％と19.58％は別の試験の数値である

１　Vals Indexの68.90％

Vals AIの説明によれば，Vals Indexは金融，コーディング，法務及び税務の課題を米国GDP上の各分野の比重で集計する指標である。Vals AIのモデル別ページは，Gemini 4 Argonの結果を68.90％と表示している。これは日本法の調査正答率でも，すべての法務作業を最後まで完了した割合でもない。
同じモデル別ページには，Legal Research Benchが54.81％，HarveyのLABが19.58％と，別の試験の結果も掲載されている。試験集合，課題，採点方法及び実行条件が異なる以上，68.90％から19.58％を差し引いて法律業務における性能低下と評価することはできない。

２　HarveyのLABの19.58％

HarveyによるLABの設計説明では，指示，案件資料及びレビュー可能な成果物を一つの課題とし，事実，結論，引用，分析，形式などについて専門家が作成した必須基準で検査する。課題を完了と数えるのは，その課題の必須基準をすべて満たした場合だけである。Vals AIの19.58％は同サイトに表示された当該試験の値であり，個々の基準を満たした割合と読み替えてはならない。
Harveyの初期結果の説明も，全基準合格率と，モデルがどの順番で資料を探しツールを使ったかという実行経過を分けている。この採点方法は，平均点が高くても重要な引用又は不利な資料を一つ落とす成果物が残る，という実務上の問題を見えるようにする。

３　数字の比較に必要な条件

順位を読む際には，①試験の対象法域と課題，②公開問題か未公開問題か，③モデルだけか検索・道具を含むシステムか，④入力資料と使用権限，⑤採点基準，⑥モデルの版と実行日，⑦費用と所要時間を並べて記録する。同じ名称の試験でも更新により順位が変わり得るため，数値には確認日と出典URLを付ける。
Googleは同モデルの出力上限を100万トークンに拡大したと説明する。他方，Vals AIのモデル別ページは評価時の最大出力を262,144トークンと表示する。前者は提供者によるモデル能力の説明，後者はVals AIが表示する評価設定として扱い，両者を同じ値であったかのように混同しない。

試行回数と，複数の回答からどの回答を採用したかも，比較条件に含める。
１回の実行で正解する割合と，同じ問題を何度も試して少なくとも１回正解する割合は，異なる指標である。
再試行や候補選別に人が関わった場合は，その確認時間と，選別前に含まれていた失敗も記録する。

他分野の例として，talkieの原著記事のHumanEval図は，各問を１００回試した場合に少なくとも１回正解する割合を示している。
成功例も一行のコード又は提示例の小さな変更に限られると説明されており，一度の依頼で複雑な業務を安定して完了する性能と読み替えない。
これはプログラミング研究の報告であり，日本法の調査正答率又は法律事務所での測定結果ではない。

４　国内法務AIの予備試験３７５点の読み方

弁護士ドットコムの令和８年６月２２日の公式発表は，LegalBrainについて，令和７年司法試験予備試験の論文式１０科目（選択科目は倒産法）を対象に，株式会社法学館（伊藤塾）の独自採点で５００点満点中３７５点だったと説明している。これは事業者が公表した独自採点結果であり，試験実施機関が受験者として採点して合格を認定した結果ではない。公式得点は受験者全体の採点格差調整を経て算出されるため，公表値と公式の得点・順位は直接比較できない。
同発表は，本試験の模範解答及び受験者の再現答案を参照データベースに含めていないと説明する。しかし，この説明だけで基盤モデルの学習段階にも同じ資料が含まれていないことを証明したとはいえない。本記事では，答案全文，採点記録及び実行経過を取得して独立に再採点したわけではない。
したがって，３７５点を海外ベンチマークの百分率と直接比較したり，その点数だけで裁判例調査・起案・依頼者対応の品質を保証したりしない。評価対象となる課題，参照資料，採点者，採点方式及び再現可能性を併記して読む。法律事務所では，実際の業務課題について，原典確認，重要な反対材料，引用の正確性，守秘情報の取扱い及び弁護士の修正負担を別途測る必要がある。

この３７５点は，公式考査委員の素点でもなく，独自採点という別の尺度である。
令和７年の公式結果１頁の最高点３４３．１７点を上回ることから「公式首席以上」とは判断できない。

他方，同じ問題・資料・分量・採点基準でのAI答案の比較まで無意味になるわけではない。
単一科目で双方に共通の正の一次変換を適用すれば点数の大小は保たれるが，科目ごとに優劣が分かれる場合は，調整係数により合計の大小が変わり得る。制度資料と具体例による説明は司法試験で「合格水準」と評価されたAIを弁護士実務でどう評価するかで扱う。

第３　現時点の利用可能性と測定の限界

Googleの発表によれば，令和８年９月３０日の発表時点で提供先は選ばれたサイバー防御関係者等に限定され，開発者，企業及び一般利用者への提供は今後の予定とされている。したがって，公表ベンチマークをもって，通常の法律事務所が同一条件で今日すぐ実機検証できると考えてはならない。利用可能な版，契約，料金，入力・出力上限及びデータ取扱条件は，実際に使う時点で公式資料と管理画面を再確認する。
本記事の作成に際し，私はGemini 4 Argonを用いた日本法の独自試験を実施していない。以下の評価設計は，公表された試験方法を参考にした実務提案であり，特定モデルの日本法での測定結果ではない。

Harveyは，令和８年１０月１２日の公式発表で，令和９年初頭の東京オフィス開設を予定していると説明した。
また，Legalscapeの同月２日発表は，Harveyを通じた日本法リサーチについて，日本の利用者にも段階的に展開し，提供予定時期を令和９年初頭以降としている。

日本で既に顧客がいること，東京拠点の開設予定，連携機能の提供予定及び自事務所の契約で実際に使えることは，別々に確認する必要がある。
これらの発表自体は，日本法の回答精度，判例の網羅性又は自事務所の費用対効果を測定した結果ではない。
提供予定と導入時の確認事項は，Harveyの日本展開と導入前の確認事項で整理している。

第４　日本の法律事務所で使う評価問題を作る

１　問いと正解資料を固定する

最初は公開資料だけで解ける10問から20問を選び，法域，基準日，手続段階，当事者の立場，必要な成果物及び使用を許す資料を各問に記す。現行条文だけでなく，改正前後，経過措置，反対方向の裁判例，例外及び判断を留保すべき問題を混ぜる。プロンプト等の調整に使う問題と，調整後の成績を測る未使用の問題を分ける。
各問の「正解」は結論の一文だけでは足りない。参照すべき法令・判決・行政資料の原文と確認日，拾うべき不利な事情，必要な留保，引用箇所及び人に戻す条件まで指定する。公開資料から作る模擬事例なら，依頼者の秘密情報を外部の評価環境へ移さずに済む。

日本語の裁判例を用いる研究であっても，測った課題を確認する必要がある。
日本語不法行為事件データセットの構築論文は，名誉毀損等を中心に集めた民事第一審判決３，４７７件から７，９７８事例と５９，６９７主張を整理し，不法行為の成否と整理済みの各主張の採否を予測している（１０４５頁～１０４６頁）。
表４の正答率０．６８３（標準偏差０．０２０）は，特定モデルについて異なる乱数設定で５回実験した平均であり，一件の相談についての勝訴確率，又は日本の法律事務所の業務全体の正確さではない（１０４８頁）。
同論文が注意を促す事前学習用判決との重複，事件の対象範囲及び入力が判決から整理されていることも確認する。
数字と入力資料の違いは，日本語判決予測AIの研究を実務で読む際の注意点で整理している。

評価用の入力に，疑うべき前提，争点又は結論の手掛かりが既に含まれていないかも確認する。
争点を指定した上で説明させる課題と，原資料から重要な争点や不足資料を見つけさせる課題では，評価する作業が異なる。

Michael HlaのGPT-1900の実験報告は，１９００年以前の資料による学習と，現代のLLMを使う合成QAや報酬採点の工程を区別し，後者による影響を留保している。
公開されたエレベーターの評価問題にも，加速度と重力の局所的な等価性を示唆する記述が入力段階で含まれる。
概念に沿った説明が得られたことと，その概念を自ら発見し理論全体を導いたことを分ける発想は，法律実務の課題設計にも参考になる。
この表は評価条件を点検する運用提案であり，無汚染の証明又は特定の法務AIへの不正の指摘ではない。

２　工程別の率と全必須項目合格率を併記する

検索候補に正解資料が入った率，候補の本文を取得できた率，引用箇所の一致率，結論の妥当性及び人への引継ぎの成否を別々に記録する。その上で，「正解資料の本文を確認した」「法的命題の射程を外していない」「重要な反対材料を落とさない」「期限や未確認事項を誤表示しない」など，課題ごとの必須項目がすべて通った割合を別に出す。一つでも重大な項目を落とした課題は，平均点が高くても完了扱いにしない。
全項目合格率は，基準を増やすほど下がりやすい。異なる問題集合や異なる基準数の率を，そのまま横並びにしない。採点票，問題集合の版，担当者及び不合格理由を残して初めて，モデルや検索方法を変えた前後の比較に使える。

Schaeffer，Miranda及びKoyejoの論文「Are Emergent Abilities of Large Language Models a Mirage?」（２０２３年５月２２日改訂版，arXiv:2304.15004v2）は，同じモデル出力でも，完全一致などの採点から連続的な距離等の採点へ変えると，能力が急に現れたように見える曲線が変わり得ることを示している。
同論文は，標本数やモデル規模の観測点の粗さ等も検討し，LLMに創発があり得ないと主張するものではないと明記する。

実務上は，モデルが変わった影響と採点尺度を変えた影響を区別するため，保存した同一の出力に複数の尺度を当てる比較が考えられる。
例えば，正しく引用できた箇所の割合が改善しても，提出期限又は重要な反対材料を一つ誤れば，当該課題の全必須項目合格とは区別する。
評価件数と各率の分母を表示し，少数例の差を直ちに一般的な優劣へ広げない。
この評価方法は本記事の運用提案であり，同論文が日本の法律事務所でその効果を実証したものではない。

３　時間と費用も同時に測る

見かけの回答時間だけでなく，検索，原文確認，弁護士の修正，やり直し及び最終承認までの総時間を測る。トークン代，検索サービス代及び人の確認時間も同じ課題で記録する。全項目合格率が上がっても，確認負担が増える仕組みは採用判断を別に要する。

第５　判例秘書を使うときの出典台帳

裁判例を正解資料にする問題では，裁判所ウェブサイトの掲載と，判例秘書その他の利用を許されたデータベースでの確認を分ける。各問題に，①データベース名，②検索日，③検索語及び検索対象範囲，④ヒット件数と実際に本文を読んだ件数，⑤裁判所名・裁判年月日・事件番号，⑥本文の該当箇所と命題との対応，⑦確認できなかった範囲を記録する。
検索結果に出なかったこと，検索していないこと，検索できなかったことは別の状態である。いずれも裁判例の不存在を証明しない。要旨だけを見て本文を読んでいない場合も「本文確認済み」としない。判例秘書の利用条件に従い，全文の外部AIへの投入や第三者への再配布が許されるかを確認する。
本記事はベンチマークの読み方と評価方法を扱い，特定の裁判例の法的命題を採用していない。そのため，本記事自体について新たな判例秘書検索は実施していない。将来，個別の日本法の結論を示す記事又は評価問題を作る際には，対象となる裁判例の一次資料確認を別途行う。

評価用データを取得する前には，閲覧，複製，AIへの送信，学習，性能評価及び第三者提供の許諾を分ける。
例えば，GSKの日本語不法行為事件データセットは学術研究目的に限定され，営利企業には配付しないと明示されている。
利用申請書兼誓約書では元文書と注釈データの条件が異なり，元文書の商業目的には製品・システム・サービスの開発やその準備も含まれる。
論文が公開されていることや判例秘書で閲覧できることだけで，法律事務所の業務用評価又は外部AIへの全文投入が許されると判断しない。
今回，研究用データセット本体は取得しておらず，判例秘書の一般契約から外部AIへの投入を一括して許す条項を確認したものでもない。

第６　外部AIへ送る前に確かめること

実案件で試す場合，入力する事件資料，検索結果，トレース及び評価データが，どの提供者又は接続先へ渡るかを整理する。学習への利用，保存期間，閲覧権限，再委託，削除及び障害時の連絡を，利用するプランの契約と設定で確認する。公開資料による模擬試験の成績と，守秘情報を含む実案件での運用可否は別の判断である。
モデルに調査や起案を任せても，法令・判決・証拠の原文との照合と最終判断を弁護士の手続から外さない。詳細な記録方法は法律事務所の生成AIをどう評価・改善するかで，ハルシネーション対策はAI作成記事のハルシネーション防止方法で整理している。

第７　出典と確認状況

追加出典（令和８年１０月１９日確認）：①Harvey「Harvey to Open Tokyo Office」（令和８年１０月１２日）。
②Legalscape「Legalscape Partners with Harvey to Bring Its Japanese Legal Intelligence to Harvey’s legal AI Platform」（令和８年１０月２日）。
いずれも事業者による方針・提供予定の発表であり，日本法の実測精度を独立に検証した結果ではない。

①Google「Gemini 4 Argon: our next era of frontier intelligence」（令和８年９月３０日。モデル提供者の発表。提供状況，出力上限，試験への言及を確認）
②Vals AI「Gemini 4 Argon」（令和８年１０月１日確認。Vals Index，Legal Research Bench及びHarveyのLABの表示値並びに評価設定を確認）
③Vals AI「AI Benchmark Leaderboards」（令和８年１０月１日確認。Vals Indexの対象分野と米国GDP比重の説明を確認）
④Harvey「Open-Sourcing Harvey’s Long Horizon Legal Agent Benchmark」（令和８年５月６日。課題の構成と全必須項目合格方式を確認）
⑤Harvey「Initial Results on Legal Agent Benchmark」（令和８年５月２６日。未公開評価問題及び実行経過の説明を確認）
⑥弁護士ドットコム・LegalBrainの予備試験論文式３７５点に関する公式発表（令和８年６月２２日。令和８年１０月３日に確認。科目数，選択科目，独自採点及び参照データの除外条件を確認）
Googleの発表は提供者による説明，Vals AIの数値は同社が表示する試験結果，Harveyの資料は試験設計者による説明である。国内法務AIの３７５点も事業者が公表した独自採点結果であり，公式試験の得点や本記事による独立検証結果ではない。いずれも日本法上の個別命題又は日本の法律事務所での独自測定を裏付けるものではない。

追加出典（令和８年１０月４日確認）：①山田寛章ほか「日本語不法行為事件データセットの構築」，２０２４年，１０４５頁～１０５０頁（課題設計，表４及び事前学習データの重複の留意点）。②言語資源協会「GSK2024-A」及び利用申請書兼誓約書（配布対象，元文書と注釈データの条件）。
研究の成績と配布条件を確認した資料であり，裁判例の法的命題を裏付ける資料としては用いていない。

追加出典（令和８年１０月１３日確認）：①Nick Levineほか「Introducing talkie: a 13B vintage language model from 1930」（２０２６年４月。HumanEval図の試行回数と成功例の範囲）。
②Michael Hla「Machina Mirabilis」（２０２６年３月。Midtraining，Instruction Tuning，Post-training及びEvaluationの各節）。
③GPT-1900の公開評価問題 EVAL.json（取得時の公開版。gr_main_elevator_lightの入力と採点規則）。
いずれも実験の設計・結果又は条件に関する一次資料であり，実験を独立に再現した結果でも，日本法上の責任を判断した裁判例でもない。

追加出典：Rylan Schaeffer，Brando Miranda及びSanmi Koyejo「Are Emergent Abilities of Large Language Models a Mirage?」（arXiv:2304.15004v2，２０２３年５月２２日改訂版。PDF実頁３頁～９頁，付録A・Bを含む全１４頁）。
採点指標・標本数等に関する研究上の主張であり，日本法実務での独立した再現実験の結果ではない。