メインコンテンツへスキップ
       

AIの難問正解率をどう読むか―検証可能性と法律実務(AI作成)

第1 専門問題の高得点と,仕事を任せられることは分けて考える

AIが難問を解いたという報告を読むときは,何を解かせ,どの道具を使わせ,何を正答としたかを先に確認する必要がある。
人間が感じる難しさだけで,AIの得意な作業の順番や職業全体の将来を判断することはできない。

知りたいことこの記事の結論確かめる点
難問の高得点は何を示すか特定の評価条件での成果を示す問題,モデル,道具,試行回数,採点方法
なぜ簡単なミスも残るか検証可能性だけでは個々の失敗を説明し切れない入力形式,視覚認識,道具,学習と評価の違い
法律実務にどう使うか原典と結論の対応を人が確認する工程を設計する資料の実在,対象時点,前提事実,判示の射程

出典:以下の研究及び筆者の実務上の提案。基準日:2026年11月15日。職業の代替率を推計した表ではない。

第2 理論物理の「50問中49問正解」をどう読むか

TheoPhysEvalの原論文第2版は,未公表の研究水準の理論物理問題50問で,AIエージェントを評価している。
第1版は2026年10月9日,第2版は同年11月12日に公開されており,ここでは第2版を基準とする。
GPT-6 AstraをCodexの環境で動かし,検索を含む道具を使える「実用的な設定」で評価したところ,成績は49問,98%だった。
著者らは,評価の実行中に人が追加ヒントを与えない条件で評価したと説明している。
これは,道具を使うエージェントの成績であり,対話モデルだけに同じ質問をすれば常に98%正解するという意味ではない。

項目原論文で報告されたこと読み取る際の限界
問題の性質50問は未公表の研究水準の問題未解決の大問題を50個発見・解決したという研究ではない
道具の条件Astra+Codexは実用的設定で49/50,検索を無効にした隔離設定で46/50検索その他の道具を含む条件を揃えて比較する必要がある
試行各エージェントを各条件で1回評価将来の回答すべての成功確率を測ったものではない
採点最終回答だけを自動採点導出過程のすべての正しさを保証しない。逆問題は曲線によく合う方程式であれば正解とする方針だったが,全エージェントが不合格だった
人との比較典型的な問題は当該分野の世界的な専門家なら1日程度かそれ以下で解けるが,近接分野の専門家にはかなり長くかかるという見積り同条件で専門家に50問を解かせて比べた実験ではない

出典:TheoPhysEval第2版の要旨,第Ⅲ節,第Ⅳ節1の図3・4,付録B,付録C・1の表4。数値の単位は正答問題数/全50問。モデル・道具・設定を限定した研究報告である。

未公表という条件も,学習データとの重なりが完全に排除されたことを意味しない。
問題を提供した専門家が解答の作成にAIを使ったものがあり,論文も情報漏れの可能性を排除していない。
検索を使わない条件でも高い成績が出たことについて,著者らは,AIが研究文献の内容を相当程度記憶している可能性を示唆している。
もっとも,これは著者らの解釈であり,原因を特定した実験結果とは分けて読む必要がある。

さらに,同論文では,当初AIが誤答したと評価した複数の問題について,専門家と協議して詳しく調べたところ,元の参照解答に微妙な誤りがあり,専門家が訂正した後はAIの解答が正答とされたことも報告されている。
比較の基準となる人の答えも,点検の対象になる。

第3 「答えを確かめやすい」は有力な視点だが,十分な説明ではない

Andrej Karpathyの「Verifiability」は,AIが繰り返し練習できる課題の条件として,やり直せること,多くの試行を効率よくできること,結果に自動的な採点を与えられることを挙げている。
そのうえで,答えを確かめやすい課題は急速に進み,専門家を超えることもあり得る一方,創造的・戦略的な課題や,現実世界の知識・状況・常識を組み合わせる課題は遅れて,進歩が不均一になると説明している。
これは進歩の不均一さを考える枠組みであり,職業が置き換わる順序を実証した法則ではない。

視点確かめる質問実務での着眼点
やり直し失敗後に同じ条件へ戻れるか外部へ提出・送信する前の下書きか
試行の効率時間や費用を抑えて繰り返せるか生成だけでなく確認・修正の負担はどうか
採点成功を具体的に判定できるか引用の一致と,主張全体の適切さを分けられるか

出典:Karpathy「Verifiability」(2025年11月17日)。右欄は筆者による法律実務への応用案であり,原文の実証結果ではない。

ただし,アナログ時計の時刻にも答え合わせはできる。
したがって,「答えを確かめやすい課題だけが進む」という説明だけでは,簡単な課題での失敗を説明し切れない。
視覚入力,学習した課題の分布,道具及び評価条件などを分けて調べる必要があるというのが,ここでの考察である。

ClockBench(2025年9月2日)は,180個の時計について720問を作り,アナログ時計の読み取りを評価した。
当時の11のモデルのうち,有効な時刻の読み取りの正答率は最高でも13.3%だった。
成人の参加者5名の平均は89.1%である。
この結果は2025年当時のモデルについてのものであり,TheoPhysEvalで49問を解いた同じシステムを,同じ時点・条件で時計の問題と比べた結果ではない。

AIの訓練中に点数を与える強化学習と,利用者が出力後に原典を確認する作業も異なる。
後者を丁寧に行うことは実務上の提案であり,それだけでモデル自体の能力が向上するという主張ではない。
また,点数の付け方が実際の目的とずれれば,高得点でも目的を達成したとは限らない。
形式的な基準の合格と,実際に必要な結果の達成は分けて確認すべきである。

第4 科学研究でも,予測・実験・利用可能性は別の段階である

科学分野の成果を法律実務へ結び付ける際も,成果の段階を揃えて読む必要がある。

例確認できる成果そこから直ちにいえないこと
AlphaGo2016年3月,ソウルで李世乭との対局に4勝1敗で勝った囲碁の対局結果であり,ほかの課題や仕事で同じ成績が出ることの保証ではない
AlphaFoldとノーベル化学賞2024年の化学賞の半分は,タンパク質の構造予測により,HassabisとJumperが受賞した。残る半分は,タンパク質設計によりBakerが受賞したAIそのものが受賞した,予測された構造のすべてを実験で確認した,という意味ではない
Claudeによる毒素結合タンパク質の設計Anthropicは,設計した211種を試験し,同社の基準を満たす結合を17種で確認したと報告した毒を無力化できたこと,解毒薬の有効性・安全性が確立したことまでは示さない。同社も,細胞を用いた中和は確認しておらず,解毒薬を作ったとは主張しないと述べている

出典:DeepMindのAlphaGo公式解説,ノーベル財団の2024年化学賞発表,Anthropicの研究発表(2026年10月20日)。基準日:2026年11月15日。17/211は当該実験の結合確認件数で,治療成功率ではない。

Anthropicの報告は,同社の内部の研究用モデルが,最初の指示と4回の追加指示を受けながら,主に自律的に進めた設計である。
211種のうち180種はモデルが選び,31種は研究チームがモデルの支援を受けて追加した。
基準を満たした17種は,いずれも一つの毒素に対する結合体であった。
市販サービス一般が同じ成果を保証するものではなく,企業自身の研究発表として読む必要もある。

第5 若手雇用の「19%」は何を示すか

StanfordのCanaries研究の2026年8月版は,米国ADPのデータを用い,2026年6月までを分析している。
AIへの曝露が大きい職種の22~25歳の雇用は,曝露が小さい同年代の職種と同じ伸びを続けた場合より19%低い,と報告している。
同研究は,経済全体で広く雇用が失われているという証拠は見つからなかったとも述べている。
若者の19%が失業した,AIがその人数の仕事を奪った,という意味ではない。
採用減少が目立つという分析もあるが,記述的な研究であり,AIによる因果効果の証明として扱うべきではない。

項目対象・意味避けるべき読み方
データと期間米国ADP,2026年6月まで日本の全労働者を直接調査したという理解
19%高曝露職の22~25歳の雇用水準について,低曝露の同年代職種の伸びを比較基準とする相対差若者全体の失業率,消滅した仕事の割合
雇用の動き採用減少が目立つという分析AIによる大量解雇が証明されたという理解
推論の範囲記述的な関係。教育構成や対象データの限界もあるAIによる因果効果の確定

出典:Canaries2026年8月版の要旨・導入,2・2節(10~11頁)及び2・4節(16頁)。19%は比較対象に対する相対差であり,パーセントポイント差ではない。

教育構成を統制すると関連が弱まる分析があり,ADP標本と全国統計の比較でも変化の程度は異なる。
分析標本の偏りやAI登場前からの傾向の違いも含めて読む必要がある。
日本の弁護士の採用や育成を直接測定した研究でもない。
教育構成や対象データの限界を含む詳しい説明は,既存記事の「若手育成を意図的に設計する」で整理している。
新人に任せる作業が変わる場合の育成方法は,この統計から自動的に決まる結論ではなく,別に検討すべき実務上の課題である。

第6 法律実務では,答え合わせの工程を具体化する

以下は筆者の業務設計上の提案である。
特定の法令がこの順序を義務付けているという説明ではない。
条文や判例の内容,そこからの推論,依頼者のために採る判断を分け,対外提出の前に確認を終えることを目指す。

まず,作成者が,今回確かめる結論と対象時点を決め,条文,判決本文,公的資料の実在と本文を確認し,確認できなければ保留する。
次に,作成者が,原文にある事実と,解説・自分の推論を分け,その対応を説明できなければ訂正の対象とする。
確認者は,時点,前提事実,例外,反対資料を確認し,適合するといえなければ使わない。
最後に,担当弁護士が,結論,理由,引用及び提出範囲を読み戻し,採用するか見送るかを決める。
保留・訂正したものを提出してよいわけではなく,期限は各事件・手続に応じて別途確認する。

人の参照解答にも誤りがある以上,人が読むだけで確実になるとはいえない。
同じ要約を別のAIに読ませて一致を得ることと,原典に戻って誤りを探すことも区別すべきである。
具体的な書面作成の確認方法は,ハルシネーション防止の記事及び思考過程と独立した誤り検出の記事を参照されたい。

第7 出典

①TheoPhysEval: Assessing AI agents at autonomous theoretical physics problem solving(arXiv:2610.16733,第1版2026年10月9日,第2版同年11月12日)
②Andrej Karpathy「Verifiability」(2025年11月17日)
③Alek Safar「ClockBench: Visual Time Benchmark Where Humans Beat the Clock, LLMs Don’t」(2025年9月2日)
④Google DeepMind「AlphaGo」
⑤The Nobel Prize in Chemistry 2024 Press release(2024年10月9日)
⑥Anthropic「How Claude designed protein binders against scorpion neurotoxins」(2026年10月20日)
⑦Erik Brynjolfsson, Bharat Chandar and Ruyu Chen「Canaries in the Coal Mine? Six Facts about the Recent Employment Effects of Artificial Intelligence」(2026年8月版)