司法試験短答式の年度別難度を得点分布から比較する方法―受験者の重複，制度改正及び受験ルート（AI作成）

司法試験短答式の平均点又は得点分布が前年より高いからといって，直ちにその年度の問題文が易しかったとはいえない。得点は，問題文・配点・試験時間だけでなく，受験者の知識水準，受験経験，受験資格及び事前選抜の違いにも左右されるからである。

本記事は，平成１１年度以降の旧司法試験と現行司法試験の短答式試験を年度横断で比べるため，受験者層及び試験制度の節目を整理し，得点分布から問題文の難度をどこまで推測できるかを説明する。

第１　この記事の対象と結論

得点分布による年度比較は可能であるが，結論は「その年度の受験者集団にとっての得点の取りやすさ」に限るべきである。問題文そのものの難度を比較するときは，受験者層が比較的安定した期間に区切り，満点に対する得点率，分布の形，問題数，配点，部分点及び試験時間を併せて見る必要がある。

とりわけ旧司法試験では，同じ受験者が複数年度にわたり受験することが一般的であった。各年度の得点分布は相互に独立した標本ではなく，相当部分が重なる受験者集団の反復横断面である。そのため，前年からの平均点の変化には，問題の難易だけでなく，再学習による得点上昇，合格者の退出，新規参入者，受験断念者及び制度移行が混在する。

第２　旧司法試験では年度間で受験者が重なること

１　受験回数の上限がなかったこと

法務省「旧司法試験Ｑ＆Ａ」が新旧試験の併行実施期間について説明しているとおり，旧司法試験それ自体には，新司法試験のような一定期間内の受験回数上限はなかった。平成８年度から平成１５年度までの合格枠制も，初回受験からの期間を論文式合格者枠に用いる制度であり，「３回までしか受験できない制度」ではなかった。

したがって，短答式に不合格となった者，短答式には合格したが論文式で不合格となった者及び受験を一時中断した者が，翌年以降に再び短答式を受験し得た。

２　平成１３年度及び平成１４年度の初回出願者

法務省「平成１４年度司法試験第二次試験結果について」によれば，同年度の出願者は４万５６２２人であり，合格枠制における初回出願者は約１万２３００人であった。差し引くと約３万３３００人，出願者全体の約７３％は初回出願者ではなかったことになる。

同資料は，平成１０年度から平成１３年度までの初回出願者が７０００人台で推移したと説明している。平成１３年度の出願者数は３万８９３０人であるから，初回以外の出願者はおおむね８割であった。

ただし，これらは出願者ベースの「初回出願者」とそれ以外の区分である。初回以外の出願者全員が前年の短答式試験を実際に受験したこと，又は翌年も連続して受験したことを示す数字ではない。

３　公表資料からは分からないこと

法務省の旧司法試験第二次試験結果の年度別公表からは，各年度の出願者数，受験者数及び合格者数等を確認できる。しかし，前年の短答式受験者のうち何人が翌年も短答式を受験したかを示す個人単位の遷移表は公表されていない。

したがって，「旧司法試験では受験者の年度間重複が大きい」とはいえるが，重複率を一つの確定値で示したり，得点変化を同一人物の学習効果だけで説明したりすることはできない。

第３　受験者層と試験制度の主な節目

令和５年司法試験では，短答式採点対象者の平均点が全体１１８．３点，法科大学院修了者１１３．５点，在学中受験資格者１２２．０点，予備試験合格者１４１．０点であった。同じ問題でも受験資格別の平均点に差があることは，年度全体の平均点がルート構成によって動くことを具体的に示している。

第４　得点分布から判断できること

１　同じ制度区分内での位置付け

受験資格，科目数，満点，配点及び試験時間が同じ期間に限れば，平均得点率の上下は，その年度の受験者集団にとって問題が相対的に取りやすかったかを示す一つの手掛かりになる。科目別分布を用いれば，総合点の変化が特定科目に由来するかも確認できる。

２　平均点以外に見るべき数値

平均点だけでなく，中央値，標準偏差，四分位点，最高点・最低点付近の人数及び分布の山の位置を見るべきである。平均点が同じでも，受験者が中央に集中する年度と，高得点層・低得点層へ広がる年度では，問題の識別力が異なる可能性がある。

満点が異なる制度を比べる場合は，まず得点率に直す。ただし，旧試験の各問１点と，現行試験の複数配点・部分点を得点率だけで同一視してはならない。

第５　得点分布だけでは判断できないこと

１　問題文固有の難度

年度間の平均点差には，問題文の難度のほか，再受験者の学習，新規参入者の知識水準，強い受験者が合格して退出する効果，受験断念者，法科大学院・予備試験・在学中受験というルート構成及び試験媒体が含まれる。得点分布だけから，問題文自体が何点分難しくなったかを分離することはできない。

問題文固有の難度を比較するには，問題文の文字量，設問形式，要求される判例・条文知識，推論段階数，解答時間，選択肢相互の紛らわしさ及び部分点の有無を別に点検する必要がある。

出題側の基準としては，法務省が公表している平成２５年１２月２日の司法試験考査委員会議申合せ事項「司法試験における短答式試験の出題方針について」がある。同申合せは，短答式試験の目的を，裁判官，検察官又は弁護士となろうとする者に必要な専門的な法律知識及び法的な推論の能力を有するかどうかの判定に置いた上，出題に当たっては，法科大学院における教育内容を十分に踏まえ，基本的事項に関する内容を中心とし，過度に複雑な形式による出題は行わないとしている。同日の平成２６年司法試験実施打合せ考査委員会議では，この申合せが資料３として配布され，平成２６年司法試験の実施方針として決定された。

同じ文言は，新司法試験の開始前の平成１７年１１月１６日新司法試験考査委員会議申合せ事項に既にあり，短答式を３科目に縮減した後の平成２９年１１月１６日司法試験考査委員会議申合せ事項及び令和５年１１月２２日司法試験考査委員会議申合せ事項「司法試験の方式・内容等について」の第１・１にも，対象の呼び方及び句読点を除いて同じ文言で置かれている。したがって，確認できた平成１７年，平成２５年，平成２９年及び令和５年の各申合せの間で出題方針の文言は変わっておらず，年度間の平均点の上下を出題方針の変更で説明することはできない。

もっとも，この出題方針は「基本的事項に関する内容を中心」とし「過度に複雑な形式による出題は行わない」という定性的な基準を示すにとどまり，目標とする平均点や難度を数値で定めたものではない。そのため，問題文固有の難度を点検する際に，各問が基本的事項を問うものか，出題形式が過度に複雑でないかを見る観点にはなるが，年度間の難度差を点数で測る物差しにはならない。

２　合格点・合格率の限界

合格点及び合格率は，予定合格者数，論文式へ進ませる人数，出願者数，欠席者及び政策的な選抜規模にも左右される。合格点が高い年度を「易しい問題」，合格率が低い年度を「難しい問題」と単純に評価することはできない。

第６　年度横断比較の実務的な手順

1. 旧試験，平成１８年～平成２６年の新司法試験，平成２７年以降の現行試験をまず分ける。
2. 各年度について，受験者数，受験資格別人数，受験回数又は初回出願者に関する公表値を併記する。
3. 満点に対する平均得点率を計算し，可能であれば中央値，標準偏差及び分布図も比較する。
4. 科目数，問題数，配点，部分点，試験時間及び実施媒体の変更年を別区分にする。
5. 問題文の形式・分量を独立に比較し，得点分布と同じ方向の変化があるかを確認する。
6. 結論は「当該年度の受験者集団にとって得点しやすかった可能性」にとどめ，問題文固有の難度と断定しない。

第７　弁護士実務及び税理士実務への応用

この注意点は，裁判例件数，損害額，和解率，税務調査率，非違割合，申告漏れ所得金額又は１件当たり追徴税額を年度比較するときにも共通する。同じ名称の統計でも，対象者，選定方法，集計単位，制度及び調査手法が変われば，数値の変化を事案の悪質化又は当局の判断の厳格化と直結させることはできない。

実務では，分母，対象期間，重複の有無，選抜済み集団かどうか及び制度変更年を先に固定し，集計値を個別事件・個別納税者の結論へ直接当てはめないことが重要である。

第８　関連記事

• 旧司法試験の成績分布，成績通知及び成績開示
• 旧司法試験の短答式試験―試験の構成，平成８年度から平成２２年度までの合格点・合格率及び問題・正解の所在
• 短答式の憲法は旧試験と現行試験でどう変わったか
• 短答式の民法は旧試験と現行試験でどう変わったか
• 短答式の刑法は旧試験と現行試験でどう変わったか
• 司法試験制度の改正経緯

第９　出典

1. 法務省「第二次試験試験問題・試験結果等」
2. 法務省「平成１３年度司法試験第二次試験の出願状況等について」
3. 法務省「平成１４年度司法試験第二次試験結果について」
4. 法務省「平成１８年度旧司法試験第二次試験の出願状況等について」
5. 法務省「司法試験法の一部改正等について」
6. 法務省「平成２４年司法試験の受験予定者」
7. 法務省「在学中受験資格に関するＱ＆Ａ」
8. 法務省「令和５年司法試験男女別平均点」
9. 法務省「司法試験及び司法試験予備試験のデジタル化について」
10. 法務省「令和２年司法試験の実施について」
11. 法務省「新司法試験における短答式試験の出題方針について」（平成１７年１１月１６日新司法試験考査委員会議申合せ事項）
12. 法務省「司法試験における短答式試験の出題方針について」（平成２５年１２月２日司法試験考査委員会議申合せ事項）
13. 法務省「平成２６年司法試験実施打合せ考査委員会議議事要旨」
14. 法務省「司法試験における短答式試験の出題方針について」（平成２９年１１月１６日司法試験考査委員会議申合せ事項）
15. 法務省「司法試験の方式・内容等について」（令和５年１１月２２日司法試験考査委員会議申合せ事項）