目次第1 「合格水準」の発表から何が分かるか1 対象は令和7年予備試験の論文式である2 発表者自身が公式得点との直接比較を否定している3 Legal Brainの予備試験375点は公式最高点を超えたのか第2 得点調整は何を調整するのか1 内容を採点した後に採点者ごとの格差を調整する2 算式と複数の採点者による得点のまとめ方3 外部答案の公式得点・順位はこの算式だけでは分からない第3 それでも同じ条件による答案比較には意味がある1 得点調整があるから内容評価が無意味になるわけではない2 科目合計と順位の一般化には条件がある第4 模試や自己採点の尺度も公式得点とは分ける1 得点の思い込みが自己評価をゆがめることがある2 司法試験本試験の最低ラインとも混同しない第5 法律事務所の導入判断では何を測るべきか1 試験答案で測った能力を実務工程へ分けて確認する2 採点者の尺度をそろえて改善を測る3 平均点のほかに必須項目と総作業時間を残す第6 法務AIの実務性能を独立して測る具体的な設計1 公表された独立研究では何を実測したか2 独立性は課題選定から結果公表まで確認する3 日本の実務に合わせた評価課題と正解資料を作る4 AI単体の比較と弁護士による利用効果を分ける5 平均点と別に重大な誤り・不回答を数える6 生成時間より検収完了までの時間と費用を測る7 少数課題で誤りがゼロでも安全は証明されない8 導入・停止・再試験の条件を先に決める第7 公開資料からは確定できない事項第8 関連記事と出典1 関連記事2 出典と資料の性質
第1 「合格水準」の発表から何が分かるか
1 対象は令和7年予備試験の論文式である
弁護士ドットコムの令和8年6月22日のプレスリリースは,Legal Brainの答案が,株式会社法学館(伊藤塾)の独自採点で500点満点中375点となり,最上位合格水準と評価されたと説明している。
対象は令和7年司法試験予備試験の論文式10科目であり,選択科目は倒産法,各科目の答案の分量は答案用紙4枚以内とされている。司法試験本試験の正式な受験・合格を意味するものではない。
本記事は令和8年10月4日に確認できた発表と法務省の採点資料から,その評価の意味を説明し,法律事務所での導入前検証を提案するものである。
実際の考査委員の内部採点を再現したものではなく,公表された採点制度から説明できる範囲を扱う。
2 発表者自身が公式得点との直接比較を否定している
同リリースの注記は,「最上位合格水準」が同社とは別の採点者による独自基準の専門的判断であり,公式試験の得点・順位との直接比較や公式な合格を意味しないと説明している。
したがって,その発表を読む際には,①専門家が答案内容を評価した結果,②公式の受験者集団の中で計算された得点・順位,③実際の法律業務における性能という三つの命題を分ける必要がある。
独自採点375点は,法務省の考査委員が付けた公式の素点でもない。
「同じ500点満点だから同じ尺度」という理解は,採点基準,採点者及び得点調整の違いを落としている。
3 Legal Brainの予備試験375点は公式最高点を超えたのか
弁護士ドットコムの令和8年8月12日の決算説明会の書き起こしのPDF22頁~23頁によれば,口頭説明では,令和7年予備試験論文式の最高点を343点と紹介した上で,伊藤塾の採点による375点はこれを30点以上上回り,「人間超え」を達成したという趣旨の説明があった。
同じ説明は,採点者が異なるため343点をスライドには載せていないと述べ,伊藤塾の採点者も実際の採点結果に近づくよう努めているので大きな外れはないとの見方も示している。
一方,PDF22頁に掲載されたスライド21の注記は,6月22日のプレスリリースと同様に,公式得点が受験者全体を対象とした採点格差調整を経て算出されることを挙げ,伊藤塾の採点による375点と公式の得点・順位を直接比較するものではないとしている。
口頭で紹介された343点は,法務省の令和7年予備試験論文式結果1頁にある採点対象者の最高点343.17点の小数点以下を除いた数値と一致する。
しかし,第2の3で説明するとおり,公式の最高点と伊藤塾の採点による375点は採点基準,採点者及び得点調整が異なるため,両者の差から,Legal Brainの答案が公式試験で最高点を得た答案より優れていたとは判定できない。
第2 得点調整は何を調整するのか
1 内容を採点した後に採点者ごとの格差を調整する
法務省の平成29年11月16日の予備試験論文式採点基準1頁~2頁は,答案を内容に応じて採点し,その後に採点格差を調整する仕組みを定めている。
50点配点では,優秀が38点~50点,良好が29点~37点,一応の水準が21点~28点,不良が0点~20点である。各区分の割合の目安は5%,25%,40%,30%であるが,この割合は採点を拘束するものではない。
同じ問題の全答案を一人で採点することは困難であるため,複数の考査委員が分担する。
すると,全体に高い点を付ける委員と低い点を付ける委員,点差を広く付ける委員と狭く付ける委員による格差が生じ得る。得点調整は,この平均とばらつきの違いを補正するための処理である。
2 算式と複数の採点者による得点のまとめ方
同資料2頁の算式は,次のように表せる。
調整後得点=〔当該答案の素点-当該委員が採点した答案全体の平均点〕÷当該委員の標準偏差×配点に応じた一定の掛け率+配点に応じて按分した全科目の平均点。
標準偏差の計算では,当該委員が採点した受験者数から1を引いた数を分母とする。
各問の得点は,複数の考査委員の調整後得点の平均であり,科目内に複数の問があるときはその合計が科目得点となる。素点を先に平均してから一度だけ調整するという説明とは異なる。
例えば,素点35点でも,その委員の平均点が25点,標準偏差が5点なら,平均から標準偏差の2倍上にある。
(続きを読む...)司法試験で「合格水準」と評価されたAIを弁護士実務でどう評価するか―外部採点,得点調整及び導入前検証(AI作成)