第１ 結論―約１６０点は有力な参考値であるが，公式の受験結果ではない
Legalscapeは，令和６年司法試験の短答式試験を同社の法務AIで解かせ，３回の平均得点が約１６０点であったと令和７年５月２３日に発表した。
法務省が公表した令和６年司法試験短答式試験の人間の最高点は１６６点，受験者全体の平均点は１１２．１点，合格に必要な成績は合計９３点以上（ほかに科目別の最低点がある。）であった。
約１６０点は１７５点満点の約９１％に当たり，同じ配点で見れば高い数値である。
しかし，これはLegalscapeが開発中のシステムについて行った事業者自身の評価であり，法務省がAIを受験者として採点し，合格又は順位を認定したものではない。
人間の最高点１６６点と並べることはできても，「人間の受験生の得点分布に当てはめれば全国何位相当であった」などと順位へ置き換えることはできない。
第２ Legalscapeが公表した試験方法と結果
Legalscapeの公表資料は，令和６年司法試験の短答式試験を対象とし，Legalscape，ChatGPT，Gemini及びPerplexityに各問題を３回ずつ回答させたと説明している。
公表された３回の平均得点は，Legalscapeが約１６０点，Geminiが約１１８点，ChatGPTが約１１５点，Perplexityが約７３点であった。
同資料は，各設問で満点を得た割合の３回平均についても，Legalscapeが約９０％，Gemini及びChatGPTが各約６３％，Perplexityが約３７％であったとする。
これらは同社の公表値であり，本記事で全回答ログを取得して再採点した結果ではない。
評価対象となったLegalscapeは開発中のバージョンであった。
したがって，この数値を，現在利用できる製品のあらゆる回答が約９０％正しいという保証や，契約すれば法律実務の９割を自動化できるという意味に読み替えてはならない。
第３ 法務省が公表した人間の得点分布
法務省の令和６年司法試験（短答式試験）の結果によれば，短答式試験は１７５点満点であり，合格に必要な成績は，各科目で満点の４０％点（憲法２０点，民法３０点，刑法２０点）以上を得た上で合計９３点以上であった。
最高点は１６６点，最低点は３２点，受験者全体の平均点は１１２．１点，短答式試験の合格に必要な成績を得た者の平均点は１２０．３点であった。
Legalscapeの約１６０点を１７５点満点で単純計算すると約９１．４％であり，人間の最高点１６６点が１７５点満点に占める約９４．９％より約３．４ポイント低い。
受験者全体の平均点との差は約４７．９点である。
ただし，Legalscapeの得点は「約１６０点」という丸められた３回平均であるため，小数点以下まで正確な差を示す計算ではない。
法務省の資料が直接示すのは，人間の受験者についての得点分布である。
AIの実行環境，回答生成方法又は再現性を法務省が確認した資料ではない。
AI側の条件はLegalscapeの公表資料，人間側の得点分布は法務省資料というように，根拠の作成主体を分けて読む必要がある。
第４ 人間の最高点と直接比較できない理由
１ ３回平均と１回の受験結果は異なる
人間の最高点１６６点は，受験者が本試験で得た１回の得点である。
他方，Legalscapeの約１６０点は３回実行した平均値である。
平均値だけでは，各回の得点のばらつき，毎回同じ設問を落としたのか，実行ごとに正誤が入れ替わったのかを判断できない。
２ 公開問題を解く条件は統制試験と同じではない
令和６年司法試験の問題と正解は公表されている。
事業者の公表ページだけでは，基盤モデルの学習データに問題又は関連資料が含まれていたか，問題投入前にどのような指示を与えたか，外部検索をどこまで利用したかを独立に確認できない。
これは公表結果が無意味であるということではない。
比較する際に，問題の公開状況，参照できる資料，検索機能，プロンプト，モデル及びシステムの版，試行回数並びに採点方法を併記すべきであるという意味である。
３ ベンダーの自己評価と第三者評価を区別する
Legalscapeの発表は，同社が試験を実施し，結果を公表したことを確認する一次資料である。
他方，約１６０点という性能が別の環境でも再現することを第三者が独立に検証した資料ではない。
事業者の説明を紹介するときは，「同社が公表した」と帰属を明示し，独立監査済みの事実へ広げない。
第５ 短答式約１６０点から分かることと分からないこと
短答式試験は，憲法，民法及び刑法について，限られた選択肢から正答を選ぶ能力を測る。
高得点は，法的知識と設問処理に関する一つの有力な参考値になる。
しかし，法律事務所の実務では，依頼者の事実を聞き取り，検索語を組み立て，不利な裁判例も含めて資料を探し，判決本文の射程を読み，現行法を確認し，引用を正確に付け，守秘情報を管理し，最終的な助言又は書面を作る必要がある。
短答式の得点だけでは，これらの工程の品質を測れない。
また，出典リンクを表示するAIであっても，リンク先が実在すること，表示された資料が回答の命題を直接支えること，その資料が現在の法令又は目的の裁判例であることは別々に確認する必要がある。
法律調査では，AIの回答ではなく原資料で調査を閉じる。
第６ 法律事務所で導入前に確認する事項
法律事務所が法務AIを評価する場合は，試験得点だけでなく，実際の業務に近い課題を固定して比較する。
少なくとも，対象法域と基準日，利用した資料，検索範囲，モデル及びシステムの版，試行回数，採点者，正答資料，引用の正確性，重要な反対資料の見落とし，所要時間，費用並びに弁護士の修正時間を記録する。
判例調査では，検索結果の件数だけでなく，事件番号，裁判所，裁判年月日，判決本文の確認箇所及び記事中の命題との対応を残す。
判例秘書等の有料判例データベースを利用した場合も，一覧，事件ヘッダー，編集者による要旨又は解説及び判決本文を区別する。
機密情報を入力する前には，基盤モデルの学習利用，サービス提供者による利用データの収集，保存期間，アクセス権限，委託先及び削除方法を分けて確認する。
「入力が基盤モデルの学習に使われない」という説明だけで，他の保存又は利用まで存在しないと判断しない。
第７ 関連記事
法務AIのベンチマーク順位を日本の法律事務所でどう読むか―Gemini 4 Argon，Harveyの全項目合格率及び判例秘書を使う評価方法（AI作成）
生成AIで法律調査をする方法―一次資料・判例秘書・解説記事・動画の使い分け（AI作成）
国内のリーガルテック・国産AIの規約は入力データをどう扱うか―学習条項と派生データ条項の比較（AI作成）
山中弁護士がAI作成又はAIリライトの記事を投稿するときに行っているハルシネーション防止方法（AI作成）
第８ 出典と確認状況
Legalscape「リーガルスケープのAI、司法試験の選択式全科目でほぼ満点を達成」（令和７年５月２３日）。
試験方法，３回平均及び比較対象モデルの数値は同社の公表内容として参照した。
本記事は回答ログを独立に再採点していない。
法務省「令和６年司法試験（短答式試験）の結果」。
１頁で満点，合格に必要な成績，最高点，最低点及び平均点を確認した。
短答式試験の得点比較には裁判例を用いていないため，本記事の作成に当たり判例秘書の検索は行っていない。
これは検索結果が０件であったという意味ではない。