AI 活用記事基礎知識

robots.txtでAI学習を拒否する書き方|__usage_ai-trainingの例文・確認ツール・各社の対応時期

robots.txtにUser-Agent: __usage_ai-trainingと書くと、AI学習を断る意思を複数のAI企業へまとめて示せます。学習は断り検索は許可する例文、3種類のパーサーでの判定結果、意思の有無を確かめるスクリプト、Bingのページ単位の書き方、各社の時期を公式情報で整理しました。

基礎知識、、読了時間:16分

晩秋の曇った朝、霧にかすむ紅葉と杉を背にした苔の庭。左奥と右から来る平たい飛び石の道が手前で合わさり、その石の上に、黒い縄を十字にかけた丸い石(関守石)がひとつ置かれている。道をふさぐものはなく、濡れた苔と石に赤や茶の落ち葉が散る

robots.txtに User-Agent: __usage_ai-training のグループを書き、Disallow: / とすると、「サイトの内容をAIの学習に使わないでほしい」という意思を、対応する複数のAI企業へ一度に示せるようになります。2026年10月30日(米国時間)に、Google・OpenAI・Microsoft・Anthropicの4社が対応を表明しました。ただし、時期を示した社はどれも2027年以降です。

この記事は2026年11月1日に公開し、11月3日に公式の情報を取り直して、学習は断り検索は許可する例文、3種類のパーサー(robots.txtを読むプログラム)での判定結果、意思の有無を確かめるスクリプト、Bingのページ単位の書き方、主要20サイトの記載状況を加えました。

何が変わるか

これまでAIの学習を断るには、GPTBot、ClaudeBot、Google-Extendedのように、会社ごとの名前を並べて書く必要がありました。新しい方法では、__usage_ai-training という共通の名前(ポリシートークン)を1つ書けば済みます。AnthropicのKevin Kelley氏が、IETF(インターネットの標準を話し合う団体)にドラフトとして出しました。

書き方はふだんのrobots.txtと同じです。ドラフトの例です。

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

「/press-kit/ の下は学習に使ってよいが、それ以外は使わないでほしい」という意味です。サイト全体を断るなら Disallow: / だけにします。

各社の対応時期

会社 対応の時期 補足 出典(日付は米国時間)
Anthropic 実装を始めた(開始日は未公表) 既存のクローラーの設定は残る 提案者のIETFメーリングリスト投稿(10月30日)
Google 2027年の初め 拒否が書かれ、Google-Extendedの指定がなければ、Google-Extendedを拒否したのと同じ扱い。Google-ExtendedはGoogle検索の掲載・順位に影響しない Search Centralブログ、クローラーの説明ページ(10月30日)
OpenAI 「今後数か月」のうち GPTBotなど、いまの設定も引き続き有効 OpenAIの発表(10月30日)
Microsoft 2027年2月1日から NoArchive・NoCacheを学習とグラウンディング(回答の根拠に使うこと)の用途で置き換える。グラウンディングはページ単位の別設定。Bing検索の掲載は変わらない Bingのブログ(10月30日)

これでは効かないこと

  • User-agent: * は数えない:ドラフトは、すべてのクローラー向けのグループをこのトークンに当てはめてはならないとしています
  • 書かなければ「意思なし」:このトークンのグループがないサイトは、賛成も反対も示していない扱いです
  • クローラーを止める設定ではない:取りに来ること自体を止めるには、GPTBotなど各社の名前で書きます
  • まだ正式な標準ではない:IETFのページには、個人のドラフトでIETFが承認したものではないと書かれています
  • 過去のデータ:ドラフトは、取得したときのrobots.txtの内容が当てはまるとしています。すでに集めたデータを消すかは、どの社も書いていません

書き方の見本

学習は断る・検索は許可する

いま効く会社ごとの名前と、これから読まれる共通トークンを両方書いておく例です。検索エンジンのクローラーは User-agent: * のグループで許可したままにします。

# AI学習は断る(共通トークン。各社の対応は2027年以降)
User-Agent: __usage_ai-training
Disallow: /

# いま効く会社ごとの設定
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# 検索エンジンなど、ほかのクローラーは許可
User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

3種類のパーサーで確かめると、Googlebot・bingbot・OAI-SearchBot(ChatGPTの検索用)はどれも「取得してよい」、GPTBotとClaudeBotは「拒否」でした。なお、GPTBotやClaudeBotを止めると、学習だけでなくそのクローラーの取得そのものが止まります。OpenAIの説明ページは、検索に出たいならOAI-SearchBotを許可しGPTBotを拒否する、という分け方を例に挙げています。

一部のフォルダーだけ断る

会員向けページだけ学習を断り、ほかは何も示さない例です。

User-Agent: __usage_ai-training
Disallow: /members/

トークンのグループがあるので「意思あり」になり、/members/ の下は拒否と読まれます。注意したいのは、ドラフトでは、このファイルで拒否されていないパスは「学習に使ってよい」という意思表示と読まれることです。ほかのページについて何も示したくない場合、この書き方は合いません。

Bingだけページ単位で決める

Microsoftは、2027年2月1日からページ単位の指定も読むとしています。Bingのブログに載っている例です。

<meta name="Bingbot" content="ai-training:disallow">
<meta name="Bingbot" content="ai-grounding:disallow">

1行目は学習、2行目はグラウンディングを断ります。HTTPヘッダーなら X-Robots-Tag: Bingbot: ai-training:disallow と書きます。グラウンディングは ai-grounding:disallowextended にすると、CopilotなどMicrosoft自身のサービスでは使ってよいが、Microsoftがほかの会社に提供するサービスでは使わない、という意味になります。NoArchive・NoCacheを学習やグラウンディングの意思として読むのは2027年3月1日までで、それまでに新しい書き方へ移すよう求めています。

3種類のパーサーで試した結果

2026年11月3日に、9通りのrobots.txtを3種類のパーサーに読ませ、トークンで「取得してよい」と出るかを比べました。使ったのは、Python標準のurllib.robotparser(3.13.5)、RFC 9309(robots.txtの標準)の最長一致に沿うProtego 0.7.0(Python)とrobots-parser 3.0.1(Node.js)です。GoogleのC++版パーサーは、作業環境にC++のコンパイラーがなく試せていません。

robots.txtの中身 調べたパス urllib Protego robots-parser ドラフトの読み方
ドラフトの例(Disallow → Allow /press-kit/ の順) /press-kit/ 拒否 許可 許可 許可
同じ内容でAllowを先に書く /press-kit/ 許可 許可 許可 許可
User-agent: * で全体を拒否しただけ / 拒否 拒否 拒否 意思なし
トークンを大文字で書く / 拒否 拒否 拒否 拒否
綴り違い(__usage_ai_training) / 許可 許可 許可 意思なし
GPTBotと同じグループにトークンを書く / 拒否 拒否 拒否 拒否

分かったことは3つです。

  • 行の順番に左右されるのはurllibだけでした。最長一致のパーサーでは、どの順で書いても /press-kit/ は許可です。迷ったら、Allowの行を先に書くとどのパーサーでも同じ結果になります
  • ふつうのパーサーは「意思なし」を表せません。User-agent: * しかないファイルでも、3つとも「拒否」と答えました。ドラフトの読み方では、トークンのグループがあるかを先に確かめる必要があります
  • **綴りを間違えると、どのパーサーも「許可」**になりました。ドラフトは大文字・小文字の違い以外は完全に一致させるとしているので、_ と - を取り違えると数えられません

意思の有無を確かめるスクリプト

ドラフトの読み方(トークンのグループがなければ意思なし、あれば最長一致で判定)で、robots.txtを確かめるPythonのスクリプトを作りました。標準機能だけで動きます。

import re, sys, urllib.request
TOKEN = "__usage_ai-training"

def groups(text):
    gs, cur, last_ua = [], None, False
    for raw in text.splitlines():
        line = raw.split("#", 1)[0].strip()
        if ":" not in line:
            continue
        k, v = [x.strip() for x in line.split(":", 1)]
        k = k.lower()
        if k == "user-agent":
            if not last_ua or cur is None:
                cur = {"agents": [], "rules": []}
                gs.append(cur)
            cur["agents"].append(v)
            last_ua = True
        elif k in ("allow", "disallow") and cur is not None:
            cur["rules"].append((k, v))
            last_ua = False
        else:
            last_ua = False
    return gs

def allowed(rules, path):
    best = None
    for k, v in rules:
        if not v:
            continue
        end = v.endswith("$")
        body = re.escape(v[:-1] if end else v).replace(r"\*", ".*")
        if re.match("^" + body + ("$" if end else ""), path):
            c = (len(v), k == "allow")
            if best is None or c[0] > best[0] or (c[0] == best[0] and c[1]):
                best = c
    return True if best is None else best[1]

url = sys.argv[1]
req = urllib.request.Request(url, headers={"User-Agent": "robots-check/1.0"})
text = urllib.request.urlopen(req, timeout=20).read().decode("utf-8", "replace")
mine = [g for g in groups(text) if any(a.lower() == TOKEN for a in g["agents"])]
if not mine:
    print("意思なし(トークンのグループがありません)")
else:
    rules = [r for g in mine for r in g["rules"]]
    for p in sys.argv[2:] or ["/"]:
        print(p, "学習OK" if allowed(rules, p) else "学習NG")

python3 check.py https://example.com/robots.txt / /members/ のように、URLと調べたいパスを渡します。試した9通りのファイルでは、どれもドラフトの読み方どおりの結果になりました。編集部で使っている版(綴り違いの警告つき)でも同じ結果です。

主要サイトはもう書いているか

11月3日17時5分(日本時間)に、国内外の20サイトのrobots.txtを上のスクリプトで調べました(ニュース、IT媒体、AI企業、検索、開発者向けサービスなど)。トークンを書いていたサイトは0件でした。会社ごとの名前でGPTBot・ClaudeBot・Google-Extendedの3つをすべて拒否していたのは、朝日新聞、日本経済新聞、読売新聞、ニューヨーク・タイムズの4件です。発表から4日で、各社の読み取りもまだ始まっていないので、書いているサイトがないのは自然です。

当サイトのrobots.txtにもトークンはなく、AIのクローラーを名前ごとに許可しています(「意思なし」にあたり、変更しません)。

確認できたこと・未確認の点

トークンの書き方、User-agent: * を数えないこと、4社の表明と時期、Bingのページ単位の書き方は、IETFの文書と各社の公式ページで確かめました。11月3日に取り直したときも、ドラフトは最初の版(-00)のままでした。次の点は未確認です。

  • Anthropicの開始日:メーリングリストの投稿のほか、公式の案内は見つけられませんでした。11月3日に見たクローラーの説明ページ(Claudeのヘルプ)にも記載はありません
  • GoogleとOpenAIの正確な日付:「2027年の初め」「今後数か月」とだけ書かれています
  • OpenAIの対象範囲:発表は「基盤となる生成AIの学習」と書いており、ドラフトの定義と同じ範囲かは分かりません
  • すでに集めたデータ:消すかどうかはどの社も書いていません
  • 検索の処理の中での扱い:IETFのメーリングリストでは11月2日に、検索の処理の中にあるAIの学習をこのトークンで止められるのか、という質問が出ています。11月3日の時点で答えは出ていません

よくある質問

Q. robots.txtにどう書けば、AIの学習を断れますか?

「User-Agent: __usage_ai-training」の行のあとに「Disallow: /」を書きます。一部だけ許可するなら 「Allow: /press-kit/」 のように足します。読み取りが始まるのは各社とも先で、Microsoftは2027年2月1日、Googleは2027年の初めです。

Q. User-agent: * で全部拒否していれば十分ですか?

十分ではありません。ドラフトは、「User-agent: *」をこのトークンに当てはめてはならないとしています。さらに、「User-agent: *」 の拒否は検索エンジンのクローラーも止めてしまいます。

Q. 書くと、Google検索やBingの掲載に影響しますか?

Googleは、このトークンで拒否するとGoogle-Extendedを拒否したのと同じ扱いにするとしており、Google-ExtendedはGoogle検索の掲載や順位に影響しません。Microsoftも、Bing検索の掲載は変わらないとしています。

Q. GPTBotやGoogle-Extendedの設定は消してよいですか?

消す必要はありません。OpenAIとGoogleは、いまの会社ごとの設定も引き続き有効だとしています。Googleは、Google-Extendedの指定がないときに限って、トークンの拒否をGoogle-Extendedの拒否として扱うとしています。

Q. すでに学習に使われたデータは消えますか?

分かりません。ドラフトは取得したときのrobots.txtが当てはまるとしていますが、すでに集めたデータの扱いは、どの社も書いていません。

Q. 綴りを少し間違えるとどうなりますか?

数えられません。ドラフトは大文字・小文字の違い以外は完全に一致させるとしています。編集部で「__usage_ai_training」(ハイフンをアンダースコアにした形)を試すと、3種類のパーサーはどれも「許可」と判定しました。

Q. ページごとに学習を断れますか?

Microsoftは2027年2月1日から、metaタグ(name属性がBingbot、content属性がai-training:disallow)やX-Robots-Tagヘッダーによるページ単位の指定を読むとしています。11月1日と3日に確認したGoogle・OpenAIの公式ページには、このトークンのページ単位の書き方は載っていませんでした。

参考にした公式情報

2026年11月1日14:03〜14:06と、11月3日17:03〜17:05(日本時間)に取得しました。最新の情報は各公式で確認してください。

この使い方を自社のどの業務から試すか、約3分で確かめる

全8問に答えると、AI 導入の準備度と、最初に試す活用アイデアがわかります。無料・登録不要です。

関連記事

すべてを表示