robots.txtで生成AI学習・AI要約を拒否できるか――技術的効果と著作権法上の限界（AI作成）

第１　robots.txtだけでは生成AIによる利用を全面的に拒否できない

robots.txtは，ウェブサイトの管理者がクローラに対し，どの利用主体にどのパスを取得させないかを伝えるための仕組みである。
しかし，アクセス権限を付与し，又は剝奪する仕組みではなく，認証や暗号化の代わりにもならない。

本記事は，令和８年８月２７日現在の技術仕様と公的資料を基準として，①基盤モデルの学習，②AI検索・回答のための索引作成，③検索結果上のAI要約，④利用者の指示による特定ページの取得を区別して整理する。
一つのUser-agentを拒否しても，他の目的に用いられるクローラまで当然に止まるわけではない。

また，robots.txtには，取得済みのデータを削除させる効果も，別の提供元から得た複製物に利用条件を付着させる効果もない。
秘密情報や会員限定情報の保護には，サーバー側の認証及びアクセス制御が必要である。

日本の著作権法上も，robots.txtに拒否を記載したという一事だけで，著作権法３０条の４の適用が当然に排除されるわけではない。
同条の適用は，利用目的が著作物に表現された思想又は感情の享受を目的としないか，及び著作権者の利益を不当に害することとなるかという法定要件により判断される。

第２　robots.txtの技術的な効力

１　Robots Exclusion Protocolが定めるもの

Robots Exclusion Protocolを標準化したRFC 9309は，robots.txtの規則を，サイト所有者がクローラに遵守を求める規則と位置付けている。
同RFCは，その規則がコンテンツへのアクセスを許可するものではないことも明記している。

robots.txtは，原則としてサイトの最上位の「/robots.txt」に置き，User-agentごとのグループにallow又はdisallowの規則を記載する。
正常に取得できたrobots.txtの規則に適合する実装は，該当するUser-agentのグループを解釈し，対象パスの取得可否を判断する。

もっとも，この標準は協調的なクローラを前提としているため，規則を無視する取得主体を技術的に遮断しない。
拒否対象のURLをrobots.txtに列挙すれば，そのURL自体を第三者に知らせる結果にもなり得る。

２　拒否の対象は取得であり，利用目的は事業者ごとに異なる

RFC 9309の基本語彙は，クローラの識別とパスの取得可否である。
「学習に使わない」「検索回答には使ってよい」「要約には使わない」といった利用目的を共通に表す標準語彙は，同RFCには含まれていない。

そこで，生成AI事業者は，学習用，検索用及び利用者要求用のUser-agentを独自に分けている。
同じ事業者であっても，対象とするUser-agentを個別に確認する必要がある。

３　過去の取得や別経路のデータには遡及しない

robots.txtの変更は，クローラが次に同ファイルを取得して解釈した後のアクセスに作用する。
過去に取得された学習データ，第三者が作成したデータセット又は利用者がAIサービスへ直接提供した資料を，robots.txtだけで削除させることはできない。

また，ウェブ上の同一コンテンツが別のURL又は別の管理主体から提供されている場合，元サイトのrobots.txtはその複製先には及ばない。
robots.txtは，取得後の利用条件をコンテンツ自体に付着させる仕組みでもない。

第３　主要事業者では学習用と検索・要約用の設定が異なる

主要事業者の公式説明を基準日現在で整理すると，次のようになる。
各社の仕様は変更され得るため，実装時には公式資料を再確認する必要がある。

この表から分かるとおり，「AIクローラを拒否する」という一括設定は正確ではない。
拒否したい利用が学習なのか，検索回答なのか，利用者が指定したURLの取得なのかを先に定める必要がある。

第４　AI要約を拒否するときは検索表示への影響を分けて考える

１　Google-Extendedを拒否してもAI Overviewsは止まらない

Googleの公式資料によれば，Google-Extendedは，Google検索の掲載可否や順位には影響しない独立した制御トークンである。
したがって，Google-Extendedを拒否しても，Google検索に組み込まれたAI Overviews又はAI Modeを拒否したことにはならない。

Google検索上のAI要約には，通常の検索用Googlebotと，nosnippet，data-nosnippet又はmax-snippetなどのプレビュー制御が関係する。
nosnippetは通常の検索スニペットにも影響するため，AI要約だけを止めて通常の検索表示を完全に維持する専用スイッチではない。

２　クロール拒否とインデックス・表示拒否は同じではない

Googlebotをrobots.txtで拒否しても，外部リンクなどからURL自体が認識され，本文の説明なしに検索結果へ表示される場合がある。
検索結果から外す目的にはnoindexが用いられるが，クローラがページを取得できなければnoindexを読み取れない。

そのため，検索流入を維持しながらAI要約を抑制したい場合には，robots.txtだけでなく，検索事業者が定めるプレビュー制御とその副作用を確認しなければならない。
OpenAI，Anthropic及びPerplexityについても，学習用と検索用のクローラが分かれている以上，目的別の設定が必要である。

第５　日本の著作権法３０条の４とrobots.txt

１　AI学習は情報解析として同条の対象になり得る

著作権法３０条の４は，著作物に表現された思想又は感情を自ら享受し，又は他人に享受させることを目的としない場合に，必要と認められる限度で著作物を利用できる旨を定めている。
同条２号は，情報解析の用に供する場合を例示している。

文化庁「AIと著作権に関する考え方について」は，AI学習のための利用は，一般に情報解析という非享受目的の利用に該当し得ると整理している。
ただし，既存著作物の創作的表現を出力させる目的が併存する場合など，享受目的があると評価されれば，同条本文の要件を満たさない可能性がある。

２　robots.txtの拒否だけで同条の適用は外れない

同資料は，権利者がAI学習を明示的に拒否しているという事実のみをもって，非享受目的の利用を権利制限の対象から外すことは妥当でないとする。
したがって，robots.txtに拒否を記載しただけで，取得行為が直ちに著作権侵害へ転化するとはいえない。

robots.txtを無視したことは事実評価の一要素にはなり得るが，著作権侵害の成否を単独で決めるものではない。
複製等の支分権該当性，３０条の４その他の権利制限，利用規約がある場合の契約成立及び適用範囲を分けて判断する必要がある。

３　解析用データベースの市場と結び付く場合は評価が変わり得る

著作権法３０条の４ただし書は，著作物の種類及び用途並びに利用の態様に照らし，著作権者の利益を不当に害することとなる場合を権利制限から除いている。

文化庁資料は，情報解析用に整理されたデータベースが販売されている場合には，その複製が市場と衝突し，同条ただし書に該当し得ると整理する。
また，robots.txt等による取得制限と，近い将来に解析用データベースを販売する具体的な予定が併存し，その制限を回避して取得した場合も，潜在的市場への影響を考慮し得るとしている。

もっとも，同資料の注記には，技術的措置を回避しても常に将来市場を阻害するとは限らず，データベースの市場が害されても，収録された個々の著作物の市場が害されたと評価できるかは別問題であるとの反対方向の見解も記録されている。
robots.txtが著作権法上の技術的保護手段又は技術的利用制限手段に当たるかについても，将来の技術動向を踏まえた検討事項とされている。

４　文化庁資料は重要な行政資料であるが判決ではない

文化庁は，生成AIと著作権に関する判例の蓄積がなかったことを背景に，令和６年３月１５日に同資料を公表した。
同資料は現行法の考え方を理解する重要な公的資料であるが，個別事件について裁判所を拘束する判決ではない。

そのため，個別事案では，robots.txtの存在，対象著作物，取得方法，AI利用の目的，事業者の認識，既存又は具体的な潜在市場を証拠に即して評価する必要がある。
「拒否を無視したから侵害である」とも，「AI学習だから常に自由である」とも一律にはいえない。

第６　EU法の機械可読な権利留保との違い

EUのデジタル単一市場著作権指令４条は，適法にアクセスできる著作物について，一般的なテキスト・データ・マイニングの権利制限を定める一方，権利者が権利を適切な方法で明示的に留保した場合には同条の権利制限を適用しない仕組みを採用している。
オンラインで公衆に提供されるコンテンツについては，機械可読な手段による権利留保が例示されている。

日本の著作権法３０条の４には，これと同じ構造の一般的なオプトアウト条項はない。
EU法の説明をそのまま日本法へ移し，「robots.txtに書けば著作権法上の許諾が必要になる」と整理することはできない。

もっとも，EUでも，具体的な記載が「適切な方法」による権利留保といえるか，どの国内法が適用されるか，どの取得・利用行為が問題となるかを確認する必要がある。
robots.txtの一行が，あらゆる法域と利用形態について同一の効果を持つわけではない。

第７　サイト運営者が目的別に行うべき対応

１　将来の取得は目的別の識別子で制御する

将来のモデル学習を拒否したい場合は，GPTBot，Google-Extended，ClaudeBotなど，各事業者が指定する学習用の識別子を公式資料で確認して設定する。
AI検索からの引用又は送客を拒否したい場合は，OAI-SearchBot，Claude-SearchBot，PerplexityBotなど，検索用の識別子を学習用と別に検討する。

Google検索のAI要約を抑制したい場合は，Google-Extendedではなく，nosnippet，data-nosnippet又はmax-snippetを検討し，通常の検索スニペットへの影響を受け入れられるか確認する。
公開自体を制限すべき情報にはrobots.txtを用いず，認証，アクセス制御及び公開範囲の見直しを行う。

２　過去データとライセンス市場には別の対応を行う

既に取得されたデータの削除又は利用停止を求める場合は，robots.txtとは別に，各事業者の申請手続，契約上の手段及び個別の法的請求の可否を確認する。
生成AIプリンシプル・コードに基づく学習データ開示要求の要件と限界は別記事で整理しているが，同コードによる情報提供と，過去データの削除又は利用停止とは区別する必要がある。

解析用データベースその他のライセンス市場を保護する場合は，商品内容，販売開始時期，利用条件，機械可読な拒否設定及びアクセスログを相互に整合させる。
将来市場が具体的に存在することを示す記録は，３０条の４ただし書の検討でも意味を持ち得る。

３　共通のAI利用目的表示はなお標準化の途中である

AI利用目的を表す共通仕様については，IETFでContent-Usageヘッダ等を用いる提案が検討されている。
もっとも，令和８年８月２７日現在はInternet-Draftであり，確定したRFCではない。

現時点の運用は，robots.txtだけに依存せず，事業者別設定，検索用メタ情報，サーバー側制御及び記録保存を組み合わせる必要がある。

第８　出典・参考資料

１　法令及び公的資料

①e-Gov法令検索・著作権法（昭和４５年法律第４８号）３０条の４
②文化庁「AIと著作権について」
③文化庁文化審議会著作権分科会法制度小委員会「AIと著作権に関する考え方について」（令和６年３月１５日）１９頁，２３頁～２７頁（PDF２０頁，２４頁～２８頁）
④文化庁「AIと著作権に関するチェックリスト＆ガイダンス」（令和６年７月３１日）８頁，３９頁～４０頁（PDF９頁，４０頁～４１頁）
⑤Directive (EU) 2019/790, Article 4

２　技術仕様及び事業者資料

①RFC 9309, Robots Exclusion Protocol（２０２２年９月）
②RFC 9969, AI Preferences Workshop Report（２０２６年５月）
③IETF AI Preferences Working Group・Documents及びdraft-ietf-aipref-attach（令和８年８月２７日確認）
④OpenAI「Overview of OpenAI Crawlers」（令和８年８月２７日確認）
⑤Google「AI features and your website」，「Google crawlers・Google-Extended」，「Robots meta tag, data-nosnippet, and X-Robots-Tag specifications」及び「Introduction to robots.txt」（令和８年８月２７日確認）
⑥Anthropic「Does Anthropic crawl data from the web, and how can site owners block the crawler?」（２０２６年４月７日更新）
⑦Apple「Applebotについて」（２０２６年６月１１日公開）
⑧Perplexity「Perplexity Crawlers」（令和８年８月２７日確認）