メインコンテンツへスキップ
       

Claudeのトークン量と自律性は何を示すか―業務改善の指標を読み解く(AI作成)

第1 前回と同じ方法で測ったとは限らない

AIのトークン量が増え,自律的に作業する会話が増えても,それだけで生産性や正確性の向上が確認されたことにはならない。
Anthropicの2026年6月のEconomic Index報告書Cadencesは,何が作られ,どのようなやり取りが行われたかを分析する資料である。
企業のKPIへ使う場合は,分類方法と,測っていないものを確認する必要がある。公式報告書

この公表回では,毎時間一定数の会話を抽出する方式へ変え,O*NETの30.2版に基づくタスク分類等も変更している。
まず詳細な作業活動を選び,その中からタスクを選ぶ二段階の分類であり,選択肢の順序も入れ替えている。
分類器の更新による差を,利用者の行動変化だけと説明してはならない。公式別紙

例えば,Rustの自然言語処理用ライブラリを推薦する会話が,商品を推薦する行為に着目して販売職のタスクへ分類された例がある。
プログラミングの内容より推薦という行為を拾った分類のずれであり,Rustという語自体の意味を取り違えた例という説明ではない。
職業タスクのラベルは利用者の実際の職業の証明ではなく,個々の分類の誤りを前提に集計を読む必要がある。

第2 曜日・時刻は,労働時間の記録ではない

報告書は,平日と週末,時間帯によって仕事・個人・学習の利用の比率が変わることを示す。
個人利用の割合は平日のおおむね35%に対し週末はおおむね50%であるが,会話が発生した時刻と用途分類から,就業規則上の労働時間や時間外労働を確定できるわけではない。

IPからの所在地・時差を使う時刻の推定,季節・行事,国・地域の構成等も集計に影響する。
勤怠管理では,当該職員にどのような指示があり,何を行ったか等の具体的事実を別に確認する必要がある。

第3 「成果物あり93%」は成功率ではない

チャットとCoworkの会話の約93%には,分析上,何らかの主要な成果物が割り当てられている。
複数の成果があっても,分析では原則として主な一つを分類しているため,成果物の個数や納品件数ではない。
正確性,完成,依頼への適合,実際の利用を検証した成功率とも違う。

明確な成果物がない約7%には,作業の中断,エラー,確認のやり取りなどの可能性があり,一律に失敗と判定することもできない。
直接接続の1P APIは別の対象で,明確な成果物がない割合も同じではない。

「仕事の会話のうち文書が何%か」と「文書の会話のうち仕事が何%か」も,分母が逆である。
例えば仕事の会話で文書が約20%を占めるという観察から,文書の会話の約20%だけが仕事だとはいえない。

第4 トークンと対応職業の賃金から,利益率は出せない

成果物に関わるトークン量と,関連する職業の賃金水準を対応させた分析は,利用者本人の給与を測ったものではない。

報告書は,対応する職業の賃金が高いほどトークン量も多いという正の関連を示すが,ばらつきや例外もある。
高賃金の職業に分類されてもトークン量の少ない例があり,賃金からトークン量や成果の価値が一意に決まるわけではない。
入力・出力・モデル・キャッシュ等の価格条件もあるため,トークン量をそのまま請求額や人件費節減額と扱ってはならない。

平均にも種類があり,報告書の図2.3の左図注は幾何平均,右図注は中央値としているが,本文の表現とそろわない箇所がある。
正規化の基準についても,図注内に全体平均と全体中央値という表現の違いがある。
左図の代表値を使う場合は図注と脚注3が示す幾何平均という方法を明示し,中央値という表現へ置き換えたり,基準の異なる倍率を同じものとして比較したりしないことが必要である。

この比較では,職業ごとの賃金中央値の順に並べ,対応する会話数で重み付けして3群を作る。
表2.4の計算関連指標は,下位群の幾何平均を基準として正規化した値である。

この方法で分けた上位3分の1の会話群は,下位3分の1の群に比べ,1ターン当たりのClaudeの出力が1.34倍,会話のターン数が1.53倍となっている。
これは観測期間内の高・低賃金職業群の断面比較であり,時系列で人の入力や会話数が一般に増えたという測定ではない。

AIの出力が多い群で人の関与も少ないとは限らないという観察から,トークン量を人の作業時間の減少率へ置き換えないことが必要である。
実際の確認・修正時間は,別に測定しなければならない。

第5 自律性の尺度は,実行権限の許可ではない

報告書は会話の自律性を1~5の尺度で分析し,Codeとチャット・Cowork,モデル,作業の構成による違いを検討する。
Codeで自律性が高い傾向には,同じタスクでの委ね方と,もともと扱うタスクが違うという両方が関係する。
利用するモデルの構成も違うため,製品名一つの効果と決め付けることはできない。

すべての成果物でCodeの自律性が上回るわけでもない。
データ・表計算関連の成果物では,チャット側3.09,Code側2.74という逆の例がある。
この分類には金融モデルやダッシュボードの設計だけでなく,構造化された抽出・タグ付け等も含まれるため,表計算ソフトの操作だけの比較と考えてはならない。
成果物と作業の構成を見て比較する必要がある。

尺度が高くても,送金,外部送信,記録変更等の実行を許可してよいという法的・組織的な判断は別である。
権限の範囲,人による確認,取り消し,停止・復旧を,実際の業務の影響に応じて設計することになる。

第6 教育年数の推定は,回答の正確性ではない

報告書の教育年数は,入力を理解するのに必要な年数と,出力を理解するのに必要な年数をモデルで推定したものである。
利用者の実学歴,専門資格,問題の正答率を直接測る指標ではない。

出力の推定教育年数が平均で入力より約1年高いという観察も,AIが利用者を1年分教育したことや,専門職の判断を代替できることを示すものではない。
難しい言葉で書かれた回答ほど,根拠,適用条件,例外を確認する必要がある。

公表国別データの2026年5月の日本の値にある,人だけで行う場合の推定4.22時間とAIを使う場合の45.65分も,実験で同じ人の処理時間を比較した結果ではない。公表データ
モデルが想定した作業時間の比較と,現場の実測を区別し,単位も時間と分に分けて読む必要がある。

第7 自社の指標は,品質と人の総負担を合わせる

研究の指標自社で補う測定
会話数・トークン数業務の母数,利用回数,1成果物当たりの総費用
成果物の分類完成基準,正確性,採用・差戻し,対外利用の有無
推定自律性許可した実行範囲,承認・介入,停止・復旧の記録
推定時間・教育年数指示・確認・手直し・教育を含む人の時間と技能

費用だけを比較するときも,生成時の料金に加え,人の指示・確認・修正,障害時の復旧まで対象をそろえたい。
一つのトークン単価や国別利用指数から,自社の投資利益率を直接求めることはできない。

国別データの4月・5月,報告書の4月10日~6月10日の分析,利用者調査と結び付いた5月半ば~6月初めの分析は,それぞれ対象期間が違う。
報告書のCodeを含む図と,国別CSVの対象も同一ではないため,グラフの値を国別の値として転記しないことが必要である。

また,Anthropicの報告書のプライバシー保護の説明や,PKSHAの協業発表にある匿名化した利用データという説明は,日本の個人情報保護法上の匿名加工情報の要件を満たすとの法的な認定ではない。
匿名化という語が使われたことだけで,匿名加工情報として取り扱えるとは判断できない。協業発表
業務で利用者の会話を分析する場合は,利用目的,必要性,識別可能性,アクセス権限等を別に検討することになる。

実際の設計には,生成AIの予算管理と法律事務所のAIエージェント業務設計も参照されたい。