robots.txtでAI学習を拒否する書き方|__usage_ai-trainingの例文・確認ツール・各社の対応時期
robots.txtにUser-Agent: __usage_ai-trainingと書くと、AI学習を断る意思を複数のAI企業へまとめて示せます。学習は断り検索は許可する例文、3種類のパーサーでの判定結果、意思の有無を確かめるスクリプト、Bingのページ単位の書き方、各社の時期を公式情報で整理しました。

robots.txtに User-Agent: __usage_ai-training のグループを書き、Disallow: / とすると、「サイトの内容をAIの学習に使わないでほしい」という意思を、対応する複数のAI企業へ一度に示せるようになります。2026年10月30日(米国時間)に、Google・OpenAI・Microsoft・Anthropicの4社が対応を表明しました。ただし、時期を示した社はどれも2027年以降です。
この記事は2026年11月1日に公開し、11月3日に公式の情報を取り直して、学習は断り検索は許可する例文、3種類のパーサー(robots.txtを読むプログラム)での判定結果、意思の有無を確かめるスクリプト、Bingのページ単位の書き方、主要20サイトの記載状況を加えました。
何が変わるか
これまでAIの学習を断るには、GPTBot、ClaudeBot、Google-Extendedのように、会社ごとの名前を並べて書く必要がありました。新しい方法では、__usage_ai-training という共通の名前(ポリシートークン)を1つ書けば済みます。AnthropicのKevin Kelley氏が、IETF(インターネットの標準を話し合う団体)にドラフトとして出しました。
書き方はふだんのrobots.txtと同じです。ドラフトの例です。
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
「/press-kit/ の下は学習に使ってよいが、それ以外は使わないでほしい」という意味です。サイト全体を断るなら Disallow: / だけにします。
各社の対応時期
| 会社 | 対応の時期 | 補足 | 出典(日付は米国時間) |
|---|---|---|---|
| Anthropic | 実装を始めた(開始日は未公表) | 既存のクローラーの設定は残る | 提案者のIETFメーリングリスト投稿(10月30日) |
| 2027年の初め | 拒否が書かれ、Google-Extendedの指定がなければ、Google-Extendedを拒否したのと同じ扱い。Google-ExtendedはGoogle検索の掲載・順位に影響しない | Search Centralブログ、クローラーの説明ページ(10月30日) | |
| OpenAI | 「今後数か月」のうち | GPTBotなど、いまの設定も引き続き有効 | OpenAIの発表(10月30日) |
| Microsoft | 2027年2月1日から | NoArchive・NoCacheを学習とグラウンディング(回答の根拠に使うこと)の用途で置き換える。グラウンディングはページ単位の別設定。Bing検索の掲載は変わらない | Bingのブログ(10月30日) |
これでは効かないこと
User-agent: *は数えない:ドラフトは、すべてのクローラー向けのグループをこのトークンに当てはめてはならないとしています- 書かなければ「意思なし」:このトークンのグループがないサイトは、賛成も反対も示していない扱いです
- クローラーを止める設定ではない:取りに来ること自体を止めるには、GPTBotなど各社の名前で書きます
- まだ正式な標準ではない:IETFのページには、個人のドラフトでIETFが承認したものではないと書かれています
- 過去のデータ:ドラフトは、取得したときのrobots.txtの内容が当てはまるとしています。すでに集めたデータを消すかは、どの社も書いていません
書き方の見本
学習は断る・検索は許可する
いま効く会社ごとの名前と、これから読まれる共通トークンを両方書いておく例です。検索エンジンのクローラーは User-agent: * のグループで許可したままにします。
# AI学習は断る(共通トークン。各社の対応は2027年以降)
User-Agent: __usage_ai-training
Disallow: /
# いま効く会社ごとの設定
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
# 検索エンジンなど、ほかのクローラーは許可
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml
3種類のパーサーで確かめると、Googlebot・bingbot・OAI-SearchBot(ChatGPTの検索用)はどれも「取得してよい」、GPTBotとClaudeBotは「拒否」でした。なお、GPTBotやClaudeBotを止めると、学習だけでなくそのクローラーの取得そのものが止まります。OpenAIの説明ページは、検索に出たいならOAI-SearchBotを許可しGPTBotを拒否する、という分け方を例に挙げています。
一部のフォルダーだけ断る
会員向けページだけ学習を断り、ほかは何も示さない例です。
User-Agent: __usage_ai-training
Disallow: /members/
トークンのグループがあるので「意思あり」になり、/members/ の下は拒否と読まれます。注意したいのは、ドラフトでは、このファイルで拒否されていないパスは「学習に使ってよい」という意思表示と読まれることです。ほかのページについて何も示したくない場合、この書き方は合いません。
Bingだけページ単位で決める
Microsoftは、2027年2月1日からページ単位の指定も読むとしています。Bingのブログに載っている例です。
<meta name="Bingbot" content="ai-training:disallow">
<meta name="Bingbot" content="ai-grounding:disallow">
1行目は学習、2行目はグラウンディングを断ります。HTTPヘッダーなら X-Robots-Tag: Bingbot: ai-training:disallow と書きます。グラウンディングは ai-grounding:disallowextended にすると、CopilotなどMicrosoft自身のサービスでは使ってよいが、Microsoftがほかの会社に提供するサービスでは使わない、という意味になります。NoArchive・NoCacheを学習やグラウンディングの意思として読むのは2027年3月1日までで、それまでに新しい書き方へ移すよう求めています。
3種類のパーサーで試した結果
2026年11月3日に、9通りのrobots.txtを3種類のパーサーに読ませ、トークンで「取得してよい」と出るかを比べました。使ったのは、Python標準のurllib.robotparser(3.13.5)、RFC 9309(robots.txtの標準)の最長一致に沿うProtego 0.7.0(Python)とrobots-parser 3.0.1(Node.js)です。GoogleのC++版パーサーは、作業環境にC++のコンパイラーがなく試せていません。
| robots.txtの中身 | 調べたパス | urllib | Protego | robots-parser | ドラフトの読み方 |
|---|---|---|---|---|---|
| ドラフトの例(Disallow → Allow /press-kit/ の順) | /press-kit/ | 拒否 | 許可 | 許可 | 許可 |
| 同じ内容でAllowを先に書く | /press-kit/ | 許可 | 許可 | 許可 | 許可 |
User-agent: * で全体を拒否しただけ |
/ | 拒否 | 拒否 | 拒否 | 意思なし |
| トークンを大文字で書く | / | 拒否 | 拒否 | 拒否 | 拒否 |
綴り違い(__usage_ai_training) |
/ | 許可 | 許可 | 許可 | 意思なし |
| GPTBotと同じグループにトークンを書く | / | 拒否 | 拒否 | 拒否 | 拒否 |
分かったことは3つです。
- 行の順番に左右されるのはurllibだけでした。最長一致のパーサーでは、どの順で書いても /press-kit/ は許可です。迷ったら、Allowの行を先に書くとどのパーサーでも同じ結果になります
- ふつうのパーサーは「意思なし」を表せません。
User-agent: *しかないファイルでも、3つとも「拒否」と答えました。ドラフトの読み方では、トークンのグループがあるかを先に確かめる必要があります - **綴りを間違えると、どのパーサーも「許可」**になりました。ドラフトは大文字・小文字の違い以外は完全に一致させるとしているので、
_と-を取り違えると数えられません
意思の有無を確かめるスクリプト
ドラフトの読み方(トークンのグループがなければ意思なし、あれば最長一致で判定)で、robots.txtを確かめるPythonのスクリプトを作りました。標準機能だけで動きます。
import re, sys, urllib.request
TOKEN = "__usage_ai-training"
def groups(text):
gs, cur, last_ua = [], None, False
for raw in text.splitlines():
line = raw.split("#", 1)[0].strip()
if ":" not in line:
continue
k, v = [x.strip() for x in line.split(":", 1)]
k = k.lower()
if k == "user-agent":
if not last_ua or cur is None:
cur = {"agents": [], "rules": []}
gs.append(cur)
cur["agents"].append(v)
last_ua = True
elif k in ("allow", "disallow") and cur is not None:
cur["rules"].append((k, v))
last_ua = False
else:
last_ua = False
return gs
def allowed(rules, path):
best = None
for k, v in rules:
if not v:
continue
end = v.endswith("$")
body = re.escape(v[:-1] if end else v).replace(r"\*", ".*")
if re.match("^" + body + ("$" if end else ""), path):
c = (len(v), k == "allow")
if best is None or c[0] > best[0] or (c[0] == best[0] and c[1]):
best = c
return True if best is None else best[1]
url = sys.argv[1]
req = urllib.request.Request(url, headers={"User-Agent": "robots-check/1.0"})
text = urllib.request.urlopen(req, timeout=20).read().decode("utf-8", "replace")
mine = [g for g in groups(text) if any(a.lower() == TOKEN for a in g["agents"])]
if not mine:
print("意思なし(トークンのグループがありません)")
else:
rules = [r for g in mine for r in g["rules"]]
for p in sys.argv[2:] or ["/"]:
print(p, "学習OK" if allowed(rules, p) else "学習NG")
python3 check.py https://example.com/robots.txt / /members/ のように、URLと調べたいパスを渡します。試した9通りのファイルでは、どれもドラフトの読み方どおりの結果になりました。編集部で使っている版(綴り違いの警告つき)でも同じ結果です。
主要サイトはもう書いているか
11月3日17時5分(日本時間)に、国内外の20サイトのrobots.txtを上のスクリプトで調べました(ニュース、IT媒体、AI企業、検索、開発者向けサービスなど)。トークンを書いていたサイトは0件でした。会社ごとの名前でGPTBot・ClaudeBot・Google-Extendedの3つをすべて拒否していたのは、朝日新聞、日本経済新聞、読売新聞、ニューヨーク・タイムズの4件です。発表から4日で、各社の読み取りもまだ始まっていないので、書いているサイトがないのは自然です。
当サイトのrobots.txtにもトークンはなく、AIのクローラーを名前ごとに許可しています(「意思なし」にあたり、変更しません)。
確認できたこと・未確認の点
トークンの書き方、User-agent: * を数えないこと、4社の表明と時期、Bingのページ単位の書き方は、IETFの文書と各社の公式ページで確かめました。11月3日に取り直したときも、ドラフトは最初の版(-00)のままでした。次の点は未確認です。
- Anthropicの開始日:メーリングリストの投稿のほか、公式の案内は見つけられませんでした。11月3日に見たクローラーの説明ページ(Claudeのヘルプ)にも記載はありません
- GoogleとOpenAIの正確な日付:「2027年の初め」「今後数か月」とだけ書かれています
- OpenAIの対象範囲:発表は「基盤となる生成AIの学習」と書いており、ドラフトの定義と同じ範囲かは分かりません
- すでに集めたデータ:消すかどうかはどの社も書いていません
- 検索の処理の中での扱い:IETFのメーリングリストでは11月2日に、検索の処理の中にあるAIの学習をこのトークンで止められるのか、という質問が出ています。11月3日の時点で答えは出ていません
よくある質問
Q. robots.txtにどう書けば、AIの学習を断れますか?
「User-Agent: __usage_ai-training」の行のあとに「Disallow: /」を書きます。一部だけ許可するなら 「Allow: /press-kit/」 のように足します。読み取りが始まるのは各社とも先で、Microsoftは2027年2月1日、Googleは2027年の初めです。
Q. User-agent: * で全部拒否していれば十分ですか?
十分ではありません。ドラフトは、「User-agent: *」をこのトークンに当てはめてはならないとしています。さらに、「User-agent: *」 の拒否は検索エンジンのクローラーも止めてしまいます。
Q. 書くと、Google検索やBingの掲載に影響しますか?
Googleは、このトークンで拒否するとGoogle-Extendedを拒否したのと同じ扱いにするとしており、Google-ExtendedはGoogle検索の掲載や順位に影響しません。Microsoftも、Bing検索の掲載は変わらないとしています。
Q. GPTBotやGoogle-Extendedの設定は消してよいですか?
消す必要はありません。OpenAIとGoogleは、いまの会社ごとの設定も引き続き有効だとしています。Googleは、Google-Extendedの指定がないときに限って、トークンの拒否をGoogle-Extendedの拒否として扱うとしています。
Q. すでに学習に使われたデータは消えますか?
分かりません。ドラフトは取得したときのrobots.txtが当てはまるとしていますが、すでに集めたデータの扱いは、どの社も書いていません。
Q. 綴りを少し間違えるとどうなりますか?
数えられません。ドラフトは大文字・小文字の違い以外は完全に一致させるとしています。編集部で「__usage_ai_training」(ハイフンをアンダースコアにした形)を試すと、3種類のパーサーはどれも「許可」と判定しました。
Q. ページごとに学習を断れますか?
Microsoftは2027年2月1日から、metaタグ(name属性がBingbot、content属性がai-training:disallow)やX-Robots-Tagヘッダーによるページ単位の指定を読むとしています。11月1日と3日に確認したGoogle・OpenAIの公式ページには、このトークンのページ単位の書き方は載っていませんでした。
参考にした公式情報
2026年11月1日14:03〜14:06と、11月3日17:03〜17:05(日本時間)に取得しました。最新の情報は各公式で確認してください。
- IETF:draft-kelley-aipref-training-preference-signal-00(Machine-Readable Training Preference Signal)(新しいウィンドウで開く)
- IETF ai-controlメーリングリスト:New draft: draft-kelley-aipref-training-preference-signal-00(新しいウィンドウで開く)
- Google Search Centralブログ:Supporting a shared AI training control for websites(新しいウィンドウで開く)
- Google:Google's common crawlers(Google-Extended)(新しいウィンドウで開く)
- OpenAI:Making it easier for websites to express AI training preferences(新しいウィンドウで開く)
- OpenAI:Overview of OpenAI Crawlers(新しいウィンドウで開く)
- Microsoft Bingブログ:Your content, your choice: clearer preferences for training and grounding(新しいウィンドウで開く)
- IETF ai-controlメーリングリスト:Re: New draft(11月2日の質問)(新しいウィンドウで開く)
- Claudeヘルプ:Does Anthropic crawl data from the web, and how can site owners block the crawler?(新しいウィンドウで開く)
- Protego(GitHub)(新しいウィンドウで開く)
- robots-parser(npm)(新しいウィンドウで開く)


