第１ 裁判実務のAIは，賢さに加えて何を競うのか
１ 結論―能力と，検証した経験を再利用する仕組みを併せて考える
裁判実務で使うAIの勝負どころは，「どれだけ賢いか」から「有益なスキルをどのように貯め，次に活かすか」へ移っているのか。
現時点の研究からいえるのは，モデルの能力に代わってスキルの蓄積だけが重要になったということではなく，モデルの能力に加えて，経験を再利用可能な手順へ変え，必要な場面で使い，効果を確かめる仕組みが重要な検討対象になっているということである。
本記事は，令和８年１１月１日を調査基準日とし，日本の弁護士が裁判準備，資料確認及び書面作成を補助するAIを使う場面を考える。
海外のAI研究と開発元の技術資料を手掛かりにするが，日本の裁判実務で勝訴率や作業時間の改善が実証されたという意味ではない。
以下では，研究者が報告した結果と，それを踏まえた実務上の提案を区別する。
２ 記憶が増えたことと，仕事が良くなったことは違う
過去の会話を保存しただけでは，次の案件で何を使えばよいかは決まらない。
また，手順書の数が増えたこと，AIがその手順書を呼び出したこと，その結果として成果物の誤りが減ったことも，それぞれ別に確かめる必要がある。
実務で目指すべきなのは，成功例を大量に残すことだけではない。
どの条件で使える手順なのか，どの失敗を防ぐのか，どの場合には使わないのかを明らかにし，別の課題でも役立つかを確かめた上で再利用することである。
この考え方は，本ブログの法律事務所の暗黙知・経験知をAIで引き継ぐ方法で扱った判断条件，反例及び更新責任と，生成AIの評価・改善で扱った検証方法を，一つの運用として結び付けるものである。
第２ ここでいうスキルとは何か
１ モデルの内部を学習し直すこととは区別する
Anthropicが説明するAgent Skillsは，指示，スクリプト及び参考資料などをまとめ，必要な場面でエージェントが利用する仕組みである。
必要な情報を段階的に読み込む設計も示されている。
本記事で主に扱うのは，このようにモデルの外側へ保存して再利用する手順であり，モデルの重みを更新する学習そのものではない。〔Anthropicの技術資料〕
用語を整理するなら，資料庫には判断の根拠となる原資料を，会話履歴には過去のやり取りを，スキルには次の仕事で実行すべき条件付きの手順を置く，という役割分担が考えられる。
これは実務上の整理案であり，製品ごとの機能名を統一する定義ではない。
原資料を基に引用を確認する仕事では，資料の保存と，その資料をいつ，どの順序で確認するかという手順を，併せて考える必要がある。
２ よいスキルは，結論よりも判断条件を残す
例えば「判例を確認する」という指示だけでは，何をもって確認が終わったかが分かりにくい。
これを「引用予定の命題ごとに，原文の位置，誰の発言か，適用条件，限定及び書面中の引用箇所を対応させる」という手順へ変えると，成果物として確認すべきものが具体化する。
ただし，この手順を作っただけで誤引用が減ると断定することはできない。
次の課題で実行できたか，対応表の内容が原文と合っているか，人の修正時間が増えすぎていないかまで確認して，初めて採用の適否を判断できる。
基本的な手順書の作り方は，弁護士のClaude Code Skills活用法を参照されたい。
第３ 改善を報告する研究と，効果が小さかった研究をどう読むか
１ SkillsBench―人が整備したスキルで改善した実験
SkillsBenchの第４版は，８分野の８７課題について，モデルと実行環境を組み合わせた１８構成を評価している。
Table 2に示された平均のPassは，スキルなしの33.9％から，人が整備したスキルありの50.5％へ上昇したと報告されている。
差は16.6パーセントポイントである。〔SkillsBench，第４版，第３・第４節及びTable 2〕
もっとも，これは裁判書面の正確性や勝訴率を測った結果ではない。
また，課題の選定では，スキルの有無による差が出ない課題が低信号として除外されており，一般の業務を無作為に取り出したときの平均改善幅とはいえない。
したがって，「スキルを付ければ法律業務も同じ割合で良くなる」という読み方はできない。
測定方法にも注意が必要である。
本文第４節と付録には課題の合否による評価が記載される一方，Figure 3にはチェック通過割合を示す表現もあるため，ここでは著者のTable 2の報告値として紹介する。
公開された実験結果を独立に再集計した数値ではない。
２ SWE-Skills-Bench―平均の改善が小さかった反対研究
SWE-Skills-Benchの第２版は，ソフトウェア開発に関する９８スキルから９８０要件を作り，４構成で，スキルの有無を対応させた3,920対を評価している。
平均のチェック通過割合は76.59％から76.93％へ変化し，差は0.34パーセントポイントであった。
所定の検定では，９２スキルについて効果の方向を検出できず，４スキルが改善，２スキルが悪化と分類されている。〔SWE-Skills-Bench，第２版，第３・第４節及び限界を述べる第５節〕
この結果は，「スキルを使わせれば，当然に成績が上がる」という期待を戒める重要な材料である。
一方，方向を検出できなかったことは，効果が厳密にゼロだと証明したことではない。
要件はスキルから逆算して作られたものであり，検証器が意図した挙動を見落とす可能性もある。
各要件はスキルの有無で１回ずつの実行であり，著者も各評価の反復を今後の課題としている。
両研究は，課題の作り方，モデル，実行環境及び評価指標が異なる。
特に，チェックのうち何割を通過したかと，課題全体を合格したかは同じ指標ではない。
16.6と0.34という数値の大小だけで，一方を正しい研究，他方を誤った研究と扱うことはできない。
３ 同じスキルでも，実行環境と手順の構成で結果が変わる
An Empirical Study of Agent Skills’ Downstream Utilityの第２版は，同じ課題とスキルでも，モデル及び実行環境の構成によって，改善と悪化が入れ替わる例を報告している。
また，スキルの使用順だけを指定する場合と比べて，各段階の目標や，前の段階で作った成果物を次へ渡す関係を示した構成が有利となる比較結果を示している。〔Downstream Utility，第２版，第３・第４節及び限界を述べる第６節〕
例えば，原資料の一覧を作る工程，命題との対応表を作る工程，対応表を使って文章を点検する工程は，前の成果物が次の入力になるように設計できる。
これは研究を踏まえた実務上の提案であり，その設計だけで裁判書面の誤りが減ると実証されたわけではない。
この研究はSkillsBenchの課題群を利用しているため，別の業務群による独立した再現実験として数えてはならない。
さらに，スキルを使う明示的な指示も条件によって異なり，構成の比較には選んだ部分集合と人手による編成が使われている。
結果をスキル本文だけの因果効果や，費用対効果の証明に広げることはできない。
４ 「解く能力」「経験を手順へ変える能力」「手順を使う能力」は分けて見る
From Raw Experience to Skill Consumptionは，経験を集める段階，そこからスキルを抽出する段階，抽出したスキルを別の課題で使う段階を分けて比較している。
課題を解く能力の高さだけでは，よいスキルを抽出し，利用できるかを説明できないという結果が示されている。〔Raw Experience，第１版，第３～第５節及び付録A〕
同研究では，成功経験と失敗経験のどの組合せが有利かは領域によって異なり，失敗の多い組合せが最もよかった領域もあったが，失敗例だけの条件は一貫して最も成績が低かった。
また，AIによる文章評価でよく見えるスキルが，次の課題で実際に役立つとは限らない。
もっとも，主実験は一つにまとめたスキルを直接与える設定であり，大量のスキルから適切なものを検索する運用や，何か月も続く蓄積の効果を証明したものではない。
SkillsBenchでは，エージェントが自らスキルを作成して解く条件が，評価した３構成のすべてでスキルなしを下回った。〔SkillsBench，第４版，第５節及びAppendix D.6〕
ただし，著者は，作成したスキルが見付けられなかったこと等の影響が混在すると述べており，この結果から，検証と修正を繰り返す蓄積まで無意味だと結論することはできない。
反対に，抽出の実験で改善した例があることから，自動的に貯め続ければ事務所全体の能力が上がると結論することもできない。
５ 経験の蓄積では，追加だけでなく選別と修正も考える
Agentic Context Engineering（ACE）は，生成，振り返り及び整理の役割を分け，外部の文脈に局所的な変更を加え，重複を整理する方法を提案している。
ここでも，モデルの重みを更新することと，外側の文脈を改善することは区別される。
著者は，振り返りの役割が有意義な教訓を取り出せなければ，文脈がノイズを含み，有害にさえなり得ることを限界として挙げている。
もっとも，同論文の付録の頑健性の実験（金融分野の課題）では，振り返りの質への感度は高くなく，基礎モデルを下回ったのは意図的な破損を続けた場合に限られたと報告されている。〔ACE，第３版，方法，限界及び付録A〕
実務へ引き付ければ，誤りの記録をそのまま追記し続けるより，既存のどの手順が足りなかったかを特定し，小さな変更で直し，重複や矛盾を整理する運用が考えられる。
これは，すべての経験を保存すればよいという発想とは異なる。
第４ 裁判準備の経験を，次にも使えるスキルへ変える
１ 失敗の感想を，検査可能な条件へ変える
以下は，公開資料又は架空の模擬事件を使って試すための運用案である。
個別事件の記録をそのまま共通スキルへ移す方法を提案するものではない。
仮に，引用の根拠として挙げた文章が，裁判所の判断ではなく当事者の主張だったという誤りを模擬課題で発見したとする。
「引用に注意する」とだけ追記するのではなく，「引用候補について，発言主体と文章の位置付けを原文で確認し，裁判所の判断と主張の紹介を別欄へ記録する」という手順へ変える。
その上で，発言主体を取り違えやすい別の模擬課題を使い，改善したかを確認する。
成功例からも，同じように条件を取り出す。
例えば，原文，引用予定文及び両者の対応箇所を並べたことで限定の脱落を発見できたなら，「どの欄が発見に役立ったのか」「全文を読まなければ判断できない例は何か」を残す。
単なる成功した出力の保存から，判断に使った条件の保存へ進めることが重要である。
２ 一つのスキルに残す情報
スキルの保存単位として，次の情報をそろえる運用が考えられる。
①目的と発動条件，②使わない条件と反例，③必要な入力とその確認状態，④作成すべき成果物，⑤原資料との照合方法，⑥失敗時の停止・人への引継ぎ条件，⑦検証に使った課題と結果，⑧版，更新日及び更新責任者である。
例えば引用確認のスキルなら，入力は「引用予定の命題と原資料」，成果物は「命題，原文位置，発言主体，条件及び引用予定文の対応表」とする。
原資料の本文を取得できない場合には，検索結果の要約だけで確認済みにせず，その命題を確定できない状態として扱う。
この停止条件を，通常の成功手順と同じ場所に書いておく。
個別事件の氏名，事実関係及び未公開資料と，共通して再利用できる手順は分けて扱う。
機密情報を削ったつもりの事例にも特定につながる情報が残り得るため，共通手順の検証には，まず公開資料や人工的に作った課題を用いる設計が適している。
これは情報管理上の提案であり，個別の提供先や利用方法について法的な適否を一律に判定するものではない。
３ 登録までと，登録後の循環を分ける
登録前は，「経験の記録→再利用できる条件の抽出→反例を含む試験→採用判断」の順で進める。
登録後は，「該当する仕事で選択→実行→成果物と原資料の照合→効果の記録→維持，修正又は廃止」の循環を作る。
登録を増やす担当と，採用の可否を確かめる担当を分けることも有用な設計案である。
書いた本人には自然に見える手順でも，別の担当が条件を再構成すると，不足する入力や例外が見つかる可能性がある。
この分担の効果自体も，修正の発見数や総作業時間で評価すべきである。
第５ 裁判書面の準備では，どこをスキル化するか
１ 引用と根拠の対応を確認する工程
初めに試す候補は，適否を具体的な成果物で確認でき，失敗を再現する模擬課題を作りやすい工程である。
例えば，命題ごとの根拠の対応付け，引用箇所の取り違えの検出，原資料にない限定や断定の発見が考えられる。
確認の対象と終了条件を工程ごとに設定して，その効果を試すのが一案である。
ただし，対応表が埋まっていることは，内容が正しいことの証明ではない。
原文を読み，主語，条件，例外及び文章の位置付けを確認する工程を残す。
この役割分担の詳細は，裁判所提出書面のハルシネーション防止方法と併せて考えるとよい。
２ 新しい資料が来たときの影響確認
模擬事件の途中で新しい資料を追加する場面も，スキルを検証しやすい例である。
新資料を読むだけで終わらせず，既存の命題のうち，根拠が変わるもの，反対資料が加わるもの，そのまま維持できるものを整理する。
変更した命題から，書面の対応箇所と必要な再検査へつなげる。
ここで保存するのは，ある事件についての最終結論そのものより，資料の追加がどの判断と成果物に影響するかを追う手順である。
影響のない部分まで毎回すべてやり直すことと，古い確認結果を無条件で流用することの両方を避けることを目指す設計である。
３ 出力後の確認までを仕事の単位にする
AIが文章を作った時点を完了とせず，出力されたファイルや表示された本文を読み戻し，予定した引用，注記及び参照先が残っているかを確認する手順も候補となる。
途中の会話では正しかった内容が，最終成果物にも反映されているかを別に確かめるためである。
このような工程では，前段階の成果物と後段階の入力を明示すると，何が未完了かを整理しやすい。
もっとも，手順を細かくするほどよいとは限らず，確認の重複や人の負担を含めて採否を判断する必要がある。
第６ 蓄積したスキルが役立ったかをどう測るか
１ モデルとスキルを別々に変えて比べる
「新しいモデルと新しいスキルを同時に導入したら良くなった」という比較では，どちらが効いたかを分けにくい。
検証の出発点として，同じ公開資料又は模擬課題を使い，モデルＡ・スキルなし，モデルＡ・スキルあり，モデルＢ・スキルなし，モデルＢ・スキルありの四つの条件を比較する設計が考えられる。
モデルＡとＢは比較のための記号であり，特定の製品の推奨や順位を意味しない。
資料，ツール権限，実行環境及び評価基準をできるだけそろえ，変えた条件を記録する。
スキルを使うよう強い指示を加えた場合には，その指示も変更点である。
本体の手順を改善した効果と，単に呼び出されやすくした効果を混同しない。
２ 呼び出し，手順の実行，成果物の品質を分ける
OpenAIのスキル評価に関する技術資料は，結果，処理過程，出力の形式及び効率を分け，実行記録と成果物を調べる考え方を示している。〔Testing Agent Skills Systematically with Evals〕
裁判準備に応用するなら，①必要な場面でスキルを選んだか，②原資料を読むなどの必要な工程を実行したか，③最終的な引用や説明が正しいかを分けて確認する。
加えて，必要のない課題で誤って発動しないかも確認対象にする。
呼び出し回数やチェック欄の充足率だけを，実務上の品質と扱わない。
３ 人の確認を含めた総作業時間で評価する
優先して見るべき指標として，根拠のない命題，引用の取り違え，重要な限定の脱落，修正後にも残った誤りが考えられる。
品質の最低条件を決めた上で，人による確認・修正時間，AIの実行時間，利用費用及びスキルの保守時間を比較する。
生成が速くなっても，確認と手直しに増えた時間が短縮分を上回れば，総作業時間は増える。
さらに，スキルを作るために使った例だけで評価しないことが大切である。
未見の課題，適用してはいけない課題及び例外を含め，可能な範囲で繰り返し実行する。
評価担当には条件を伏せて成果物を比較させるなど，期待に引きずられにくい設計も検討する。
これらは検証設計の提案であり，四条件を一度ずつ比べれば十分だという意味ではない。
少数の模擬課題での改善を，すべての事件や長期間の運用へ一般化しない。
評価対象の選び方と失敗の言語化については，AIの仕事の評価基準を育てる手順も参照されたい。
第７ 増やし続けると，かえって使いにくくなる場合もある
１ 古い指示と過剰な手順を見直す
OpenAIのGPT-6 Astra向けの技術記事は，長い説明の混雑や，古いモデル向けに作った細かな手順が，新しいモデルの動きを過度に制約し得る問題を説明している。〔Rethinking skills and prompts for GPT-6 Astra〕
これは特定のモデル群についての開発元の助言であり，すべてのAIで短い指示が優れるという一般法則ではない。
実務上は，モデルやツールを替えた際，従前の手順をすべて正しい前提として移すのではなく，どの手順が引き続き必要かを検査する理由になる。
スキル同士が重複していれば，入口をまとめ，必要な詳細だけを読む構造にすることが考えられる。
ただし，整理によって必要な例外や停止条件まで消してはならない。
具体的な整理方法は，スキルが増えすぎたときの整理方法で扱っている。
２ 更新する条件と，廃止する条件を決める
更新の契機として，原資料の改訂，制度の変更，ツールの仕様変更，モデルの変更及び再発した誤りを記録する。
その変更がどの手順と確認結果に影響するかを特定し，必要な範囲を再検証する。
古い版を使った結果と新しい版を使った結果が混ざらないよう，版も残す。
効果が確認できない手順，誤発動の多い手順及び維持費用が便益に見合わない手順については，修正，統合又は廃止を検討する。
スキルの件数を増やす目標だけを置かず，役立つ条件と役立たない条件を明らかにすることを管理の中心に据える。
３ 外部のスキルは，文章だけでなく同梱物も確認する
Anthropicの資料は，信頼できる提供元を選び，指示や同梱されたコード，資源を確認する必要性を説明している。〔Agent Skillsの開発・評価とセキュリティ〕
外部のスキルは，単なる参考文献ではなく，実行する動作に影響する入力になり得る。
事務所で採用する際には，取得先，版，実行する処理，利用するファイル及び外部へ送る情報を確認する運用が考えられる。
評判や説明文だけで，機密情報を扱う作業にもそのまま使えると判断しない。
第８ 裁判実務で残る，人の判断と検証の責任
最高裁判所長官の令和８年５月掲載の憲法記念日記者会見の概要では，裁判官の判断作用にAIを用いることは相当でないとする一方，事務の補助として活用する余地に触れ，その境界線が問題となる可能性，ハルシネーション，入力データの機密性・個人情報の扱い及び使う側の力量が課題として述べられている。〔裁判所公表の会見概要〕
これは当該時点の会見で示された考え方であり，Agent Skillsという製品上の仕組みを裁判所が採用したことや，特定の利用方法が制度として承認されたことを示すものではない。
会見でいう利用者の技能と，本記事で扱う外部に保存するスキルも，同じ意味と扱ってはならない。
裁判準備でのスキル蓄積は，原資料を読む工程，引用を確かめる工程及び変更の影響を追う工程を，再利用しやすくする試みとして位置付けるのが適切である。
証拠の評価，法的主張の採否，依頼者との関係で何を行うかという判断まで，スキルの存在を理由に自動的に正しいものと扱うことはできない。
したがって，冒頭の問いへの答えは，「モデルの賢さを比べることに加えて，検証した経験を次の仕事へつなぐ能力を比べる必要がある」というものである。
貯めるべきなのは，成功した文章の山ではなく，適用条件，反例，確認方法及び更新責任を伴う手順である。
その価値は，登録数ではなく，未見の課題で品質が向上したか，必要な品質を保ちながら人の確認を含む負担を減らせたかによって判断すべきである。
第９ 出典
以下の論文の数値と観測結果は，各著者による報告として紹介したものである。
開発元の技術資料は仕組みや推奨する設計の説明であり，日本の裁判実務についての独立した効果検証ではない。
① Anthropic「Equipping agents for the real world with Agent Skills」（２０２５年１０月１６日公表，同年１２月１８日更新）。
② Xiangyi Liほか「SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks」（第４版，２０２６年６月１４日）。
③ Tingxu Hanほか「SWE-Skills-Bench: Do Agent Skills Actually Help in Real-World Software Engineering?」（第２版，２０２６年１０月２７日）。
④ Yu Chengほか「An Empirical Study of Agent Skills’ Downstream Utility」（第２版，２０２６年１０月８日）。
⑤ Zisu Huangほか「From Raw Experience to Skill Consumption: A Systematic Study of Model-Generated Agent Skills」（第１版，２０２６年５月２２日）。
⑥ Qizheng Zhangほか「Agentic Context Engineering: Evolving Contexts for Self-Improving Language Models」（第３版，２０２６年３月２９日）。
⑦ Dominik Kundel，Gabriel Chua／OpenAI「Testing Agent Skills Systematically with Evals」（２０２６年１月２２日）。
⑧ Eric Provencher／OpenAI「Rethinking skills and prompts for GPT-6 Astra」（２０２６年９月１１日）。
⑨ 裁判所ウェブサイト掲載の最高裁判所長官の憲法記念日記者会見の概要（令和８年５月掲載）。