第１ 本記事の対象と結論
１ 扱う問い
法律事務所で，問い合わせ，郵便物，ファクシミリ又はシステム送達の通知をAIで自動的に振り分けるとき，「確信度が低いものは人の確認へ回す」という設計がよく勧められる。
山中弁護士ブログの既存記事でも，事件管理システムとの連携，AIエージェントの業務設計及び生成AI利用ガイドラインの各記事で，この考え方を採っている。
しかし，確信度とは何の数字か，何％なら自動処理してよいか，確信度が高ければ人が見なくてよいのかは，これらの記事では詳しく説明していない。
本記事は，令和８年９月に登場した判定専用のAIの公式資料を手掛かりに，確信度の意味と，法律事務所で閾値（自動処理と人の確認を分ける境目）を決めるときの考え方を整理する。
基準日は令和８年９月１９日であり，AI製品の仕様・料金はこの日に各社の公式ページで確認したものである。
英文の公式資料の訳は，本記事によるものである。
AI製品の仕様・料金は短期間で変わるため，導入を検討するときは改めて公式ページで確認する必要がある。
２ 結論の要旨
確信度が意味を持つのは，提供者が，示す確率と実際の的中率が一致するように調整（較正）していることを公表し，かつ自分の事務所のデータで試して確かめた場合に限られる。
較正されていても，確信度は多数の判定をまとめて見たときの的中率であり，１件ごとの判定が正しいことを保証しない。
これは，判定専用AIの提供者自身が公式の技術文書で明記していることである。
したがって，閾値は１つの数字で決めるのではなく，誤ったときの不利益の重さに応じて分けるべきである。
特に，控訴期間のような不変期間その他の期限に関わる分類，受任するかどうかの判断及び依頼者への返答の要否は，確信度の高低にかかわらず人が確認すべきである。
事務所内の受領・取次ぎの誤りで不変期間を守れなかった場合，最高裁判所の判例は訴訟行為の追完を認めていないからである。
第２ 確信度とは何か
１ 確信度と較正
AIの判定に付く確信度は，通常，選択肢ごとの確率（例えば「スパム９０％，スパムでない１０％」）から計算される数字である。
この数字を信じてよいかどうかは，「較正」されているかどうかで決まる。
較正（キャリブレーション）とは，AIが示す確率と，実際に当たる割合を一致させることをいう。
令和８年９月１５日に判定専用AI「Jev」を公開した米国のTypeSafe AIは，公式の技術文書で，よく較正されたモデルであれば，確率０．２とされた結果は約２０％，確率０．８とされた結果は約８０％の割合で実際に起こるべきだと説明している。
２ 較正されていても１件ごとの正しさは保証されない
同じ技術文書は，これらの割合は予測の集まりについてのものであり，個々の回答について保証するものではないと明記している。
確率０．９の判定を１００件集めれば約９０件が正しいことが期待できるが，目の前の１件がその９０件に入るかどうかは分からない。
このため，「確信度９０％なら９割は正しいので自動処理してよい」とする説明は，言い過ぎである。
実際，Jevを紹介した国内の解説記事には，確信度９０％と出ればおよそ９割が正しいという意味になると説明するものがあったが，公式の技術文書は，上記のとおり個々の回答の保証ではないとする留保を付けている。
自動処理に回した１０件のうち１件が誤りであっても困らない業務でだけ，確信度による自動処理が成り立つと考えるべきである。
３ 生成AIが文章で示す「自信」は確率とは限らない
ChatGPTやClaudeのような対話型の生成AIに「確信度も答えて」と指示すると，「確信度：高」「９０％」といった答えが返ってくる。
しかし，これは文章として生成された表現であり，判定専用AIの確率のように，的中率と一致するよう調整された数字であるとは限らない。
対話型の生成AIの開発者が公表した技術報告書でも，事前学習を終えた段階のモデルは，示す確率と正解の割合がよく一致していたが，人の好みに合わせる事後学習を経た後は，その一致が大きく損なわれたと報告されている。
利用者が日常的に使う対話型の生成AIは，この事後学習を経たものである。
事件管理システムにAIの出力を取り込む際に「確信度」の欄を設けるなら，その数字が①提供者が較正を公表した確率なのか，②生成AIが文章で書いた自己評価なのかを区別して記録しておくべきである。
②を①と同じように閾値判定に使うことは避けた方がよい。
第３ 判定専用AIの登場と確信度の使い方
１ 判定専用AI（Jev）の仕組み
TypeSafe AIが令和８年９月１５日に早期アクセスとして公開したJevは，文章を生成しないAIである。
同社はこれを「System One Model」と呼び，心理学者ダニエル・カーネマンの「速い思考（システム１）」と「遅い思考（システム２）」の区別を引いて，直感的な即断を担うAIと位置付けている。
Jevの回答の型は，公式ドキュメントによれば次の３つである。
①Choice＝あらかじめ定義した選択肢（最大２５５個）から１つを選ぶ
②Score＝順序のある段階で採点する
③Noul＝Yes/Noの確率を返す
回答は利用者が定義した選択肢の中に必ず収まるため，生成AIのように回答の形式が崩れることはない。
公式ブログによれば，応答時間は７０ミリ秒～５００ミリ秒であり，料金は入力１００万トークン当たり０．０４２ドルで，出力には課金されない。
他方，１回のリクエストで送れるのは６万４０００トークンまでで，扱えるのはテキストだけである（画像・音声は扱えない）。
２ 確信度の返し方
Jevは，ChoiceとScoreの回答に，選択肢ごとの確率（probabilities）と，そこから計算した確信度（confidence。０から１までの数字）を付けて返す。
Noulの回答には確信度は付かない。
公式ドキュメントは，確率の分布が１つの選択肢に集中していれば確信のある回答，広く散っていれば不確かな回答であり，確信度が低いことは，どの選択肢もはっきり当てはまらないか，判断材料が足りないことを示すことが多いと説明している。
同じドキュメントは，確信度を「高い＝自動で処理する」「中くらい＝確認を求める」「低い＝処理せず人へ回す」の３つの範囲に分ける使い方を示している。
その上で，閾値は１つの数字ではなく，誤ったときの結果に応じて行為ごとに変えるべきだとし，残高照会の画面を出すような取り返しのつく処理と，送金の承認のような取り返しのつかない処理とで，自動処理を許す確信度を分ける例を挙げている。
３ 日本語での精度
公式ドキュメントは，Jevの主な学習言語は英語であり，精度も英語が最も高く，日本語を含む他の言語は扱えるが同等ではないとしている。
英語以外で使う場合は，自分のデータで試してから使い，確信度に注意を払うよう求めている。
したがって，日本語の法律相談の振分けにそのまま使えるとは考えにくい。
また，依頼者の相談内容を海外のAIサービスへ送ることには，守秘義務と個人情報保護法の問題がある。
この点は，「学習に使わない」と書いてあっても―AIサービス規約の派生データ条項の読み方と弁護士の守秘義務で扱っている。
第４ 法律事務所の自動振分けで閾値をどう決めるか
１ 閾値は自分のデータで決める
較正は，提供者が用意した評価データの上で確かめられたものである。
事務所に届く問い合わせや書類は，言語，書き方及び分類の基準が評価データと違うため，同じ確信度でも的中率が変わり得る。
そこで，導入前に，過去の問い合わせや書類を人が分類した正解データを用意し，AIの確信度の区間（例えば０．９以上，０．７～０．９，０．７未満）ごとに実際の的中率を数えておくことが考えられる。
この作業をしないまま，提供者の例示や一般的な目安の数字を閾値にするべきではない。
正解データを作る人の判断も，常に一致するとは限らない。
Anthropicが作業の自動化の程度をAIに判定させ，担当者の評価と比べた例では，AIと担当者の完全一致率は５９％であったのに対し，担当者同士の完全一致率は３５％にとどまった（同社「Measurements for understanding the pace of AI development inside frontier labs」（令和８年９月１８日）の付録）。
分類の基準に解釈の幅があれば，人同士でも答えが割れることを示す例である。
そのため，正解データの一部は２人が別々に分類して一致率を確かめ，割れた例を見て分類の基準を書き直してから，AIの的中率を数えることが考えられる。
AIと人の一致率は，人同士の一致率と並べて評価する。
２ 誤りの種類ごとに重さが違う
振分けの誤りには，本来急ぐべきものを急がないと判定する誤りと，急がなくてよいものを急ぐと判定する誤りがある。
法律事務所では，前者の誤りの方がはるかに重い。
急がなくてよい問い合わせを人が確認する手間は小さいが，急ぐべき問い合わせを見落とすと，時効，出訴期間又は上訴期間を過ぎるおそれがあるからである。
閾値を決めるときは，的中率全体ではなく，重い誤りがどの程度起きるかを見る必要がある。
例えば，「急ぎ」と「急ぎでない」の２択にするより，「期限の記載あり」「期限の記載なし」「判断できない」の３つに分け，「期限の記載あり」と「判断できない」はすべて人へ回す設計の方が安全である。
Jevの公式ドキュメントも，選択肢が入力のすべてを覆わないおそれがあるときは「その他」「いずれにも当たらない」の選択肢を加え，どれも当てはまらないとAIが答えられるようにすることを勧めている。
３ 閾値にかかわらず人が見る分類
次の分類は，確信度がどれほど高くても自動で確定させず，人が確認すべきである。
①判決書・決定書・システム送達の通知等，不変期間の起算点になり得る書類の到達日と種類
②時効，出訴期間，申立期間等の期限が記載され，又は問題になり得る相談
③事件の依頼を受けるかどうか（不受任，対応不要，事件の依頼ではない等の判定）
④依頼者又は相手方への返答の要否と，その期限
⑤事件の特定（どの事件の書類か）が複数あり得る場合
①と②の理由は次の第５で，③と④の理由は第５の４で述べる。
第５ 期限が絡む分類を人が見る理由
１ 訴訟行為の追完の要件
民事訴訟法９７条１項は，当事者が「裁判所の使用に係る電子計算機の故障その他その責めに帰することができない事由により不変期間を遵守することができなかった場合」に限り，その事由が消滅した後１週間以内に訴訟行為の追完をすることができると定めている。
控訴期間は，同法２８５条により，判決の送達を受けた日から２週間の不変期間である。
期間を過ぎた控訴は，追完が認められない限り不適法となる。
追完の要件と判例の詳細は，訴訟行為の追完（民事訴訟法97条）―控訴期間を過ぎた場合の救済，送達日の誤認，通知メールの見落とし及び事務所内の事務処理で整理している。
２ 事務所内の受領・取次ぎの誤りは救われない
最高裁判所第三小法廷昭和４１年５月３１日判決（昭和40年（オ）第94号，集民83号657頁）の事案では，判決正本が弁護士事務所に送達され，弁護士に雇われた書生が受領したが，適切な連絡をしないまま帰郷した。
弁護士は，後日自分が正本を受け取った日を送達日と誤解して上訴期間を過ぎた。
最高裁判所は，期間の徒過は責めに帰することができない事由によるものに当たらないとした原審の判断を正当とした。
最高裁判所第三小法廷昭和４１年５月１７日判決（昭和40年（オ）第1000号，集民83号527頁）も，判決正本が事務所に送達された以上，弁護士が事務員から受け取ったのが控訴期間の経過後であっても，追完は許されないとした。
裁判所ウェブサイトの裁判要旨によれば，この事案は，事務員がてんかんの発作を起こして入院したため，弁護士が正本を見たのが控訴期間の経過後になったというものである。
これらの判例に照らせば，事務所が自ら設計して運用する受付・振分けの仕組みの誤りは，AIによるものであっても，追完では救われない前提で運用を組むのが安全だと考えられる。
「AIの確信度が高かったので人が見なかった」という事情は，責めに帰することができない事由とは評価されにくいであろう。
３ 事務所の外の制度への信頼が救われた例
これに対し，最高裁判所第三小法廷昭和４６年４月２０日判決（昭和45年（オ）第513号，集民102号501頁）は，訴訟代理人が所属弁護士会の規則に基づいて同会を送達受取人に指定していたところ，同会の送達部が実際の送達日より２日遅い日を受送達日として記録していた事案である。
最高裁判所は，弁護士会の制度を信頼したことに責められるべきものはなく，弁護士会が民事訴訟法と食い違う取扱いをすることは代理人には予想できなかったとして，追完事由について釈明を求めずに控訴を却下した原判決を破棄し，事件を差し戻した。
もっとも，この判決は，誤りが弁護士の外にある弁護士会の制度の中で起きた事案である。
事務所が自ら選んで導入したAIの判定の誤りを，これと同じように扱えるとは限らない。
AIサービスは事務所が選び，設定し，閾値を決めて使うものだからである。
４ 受任の諾否の通知
弁護士職務基本規程３４条は，「弁護士は、事件の依頼があったときは、速やかに、その諾否を依頼者に通知しなければならない。」と定めている。
AIが「対応不要」と判定した問い合わせが実は事件の依頼であった場合，諾否の通知がされないまま放置されるおそれがある。
問い合わせをAIで一次判定するときの注意は，弁護士が事件の依頼を断るときの通知義務―弁護士法29条・職務基本規程34条とAIによる問い合わせの一次判定で扱っている。
第６ 運用の手順
AIの確信度を使って自動振分けをする場合は，次の順で設計することが考えられる。
①使うAIの確信度が，提供者が較正を公表した確率か，生成AIが文章で書いた自己評価かを確かめる
②英語以外での精度について提供者がどう説明しているかを確かめる
③過去の問い合わせ・書類で正解データを作り，確信度の区間ごとの的中率を数える
④誤りを「重い誤り」と「軽い誤り」に分け，重い誤りの件数を見る
⑤期限・受任・返答の要否に関わる分類は，確信度にかかわらず人へ回す
⑥自動処理した分も，一定の割合を抜き出して人が事後に確認し，的中率が落ちていないかを定期的に見る
⑦AIの判定，確信度，確認した人及び訂正の記録を残す
⑥は，問い合わせの傾向やAIのモデルの更新によって，導入時に確かめた的中率が変わることがあるためである。
⑦は，誤りが起きたときに原因をたどり，閾値を見直すために必要である。
総務省・経済産業省の「AI事業者ガイドライン（第１．２版）」（令和８年３月３１日）も，AIを業務に使う者に対し，AIの出力について精度及びリスクの程度を理解し，様々なリスク要因を確認した上で利用することを求めている（同ガイドライン４０頁）。
確信度による振分けは，この「精度を理解した上での利用」を具体化する一つの方法と位置付けられる。
第７ 関連記事
①「学習に使わない」と書いてあっても―AIサービス規約の派生データ条項の読み方と弁護士の守秘義務
②訴訟行為の追完（民事訴訟法97条）―控訴期間を過ぎた場合の救済，送達日の誤認，通知メールの見落とし及び事務所内の事務処理
③弁護士が事件の依頼を断るときの通知義務―弁護士法29条・職務基本規程34条とAIによる問い合わせの一次判定
④法律事務所のAI・事件管理システム連携－問い合わせ，LINE，メール，FAX，期限及び書類をどうつなぐか
⑤法律事務所のAIエージェント業務設計－目的・コンテキスト・権限・完了条件をどう分けるか
⑥法律事務所の生成AI利用ガイドラインの作り方－許可サービス，入力情報，出力確認，委託先及び事故対応
第８ 出典
１ 法令等
①民事訴訟法９７条，２８５条（令和８年９月１９日にe-Gov法令検索で現行条文を確認）
②日本弁護士連合会「弁護士職務基本規程」３４条
２ 裁判例
①最高裁判所第三小法廷昭和４１年５月１７日判決（昭和40年（オ）第1000号，集民83号527頁）（裁判所ウェブサイト）
②最高裁判所第三小法廷昭和４１年５月３１日判決（昭和40年（オ）第94号，集民83号657頁）（裁判所ウェブサイト）
③最高裁判所第三小法廷昭和４６年４月２０日判決（昭和45年（オ）第513号，集民102号501頁）（裁判所ウェブサイト）
３ AI提供者の公式資料
①TypeSafe AI「Introducing System One Models and Jev」（令和８年９月１５日）
②TypeSafe AI「Confidence」（公式ドキュメント）
③TypeSafe AI「Machine learning primer」（公式ドキュメント）
④TypeSafe AI「Models」（公式ドキュメント）
⑤TypeSafe AI「Primitives」及び「Choice」（公式ドキュメント）
⑥OpenAI「GPT-4 Technical Report」（２０２４年３月４日改訂版）１０頁～１２頁（図８）
⑦Anthropic「Measurements for understanding the pace of AI development inside frontier labs」（令和８年９月１８日。付録の判定の一致率）
４ ガイドライン
①総務省・経済産業省「AI事業者ガイドライン（第１．２版）」（令和８年３月３１日）４０頁