SEOツール

無料 AIクローラー robots.txt ビルダー

AIクローラー向けのrobots.txtルールをオープン、選択型、厳格のプリセットから作成します。

ツールを読み込み中...

AIクローラー robots.txt ビルダーとは

robots.txtファイルは、クローラーがサイトのどの部分にアクセスできるかを指示するファイルです。OpenAI、Anthropic、Google、Perplexity、Common CrawlなどのAIトレーニングクローラーの台頭により、パブリッシャーは現在、コンテンツがAIトレーニングに使用されることを許可するかどうかをrobots.txtで示すようになっています。このツールは、トレーニング用ボットと検索・参照用ボットを明確に区分したAI固有のrobots.txtブロックを生成します。

クイックアンサー

AIクローラーがサイトにアクセスできる範囲を制御するrobots.txtルールを作成します。選択的ポリシーを使用して、トレーニングボット（GPTBot、ClaudeBot、Google-Extended）をブロックしつつ、検索エンジン（Googlebot、Bingbot）を許可します。特定のクローラーブロックはrobots.txtの汎用ワイルドカードルールより上に配置してください。

Last updated: 2026-05-28

制限事項

robots.txtは自主的な基準でありすべてのクローラーがこれを尊重するわけではありません。一部のAIデータ収集はウェブクロール以外の手段で行われrobots.txtには執行メカニズムがありません。
一部のCDNやWAF（Cloudflare Bot Managementを含む）は独自のボットブロックルールでrobots.txtを上書きできます。robots.txtを変更した後はCDNの設定を確認してください。
新しいAIクローラーが定期的に登場します。このツールには2026年初頭時点で既知のクローラーが含まれています。定期的に新しいクローラー名を確認しrobots.txtを更新してください。

Sources:MDN Web Docs · W3C Specifications · jquery.app on GitHub

使い方

ポリシープリセットを選択します。オープン（何もブロックしない）、選択的（トレーニングボットをブロックし検索エンジンを許可）、または厳格（すべてのAIクローラーをブロック）です。
個別のクローラーブロックを特定のボットをオンまたはオフにしてカスタマイズします。
生成されたrobots.txtブロックをコピーしサイトのrobots.txtファイル内の汎用ワイルドカードルールより上に追加します。

主な用途

OpenAI、AnthropicなどのAIトレーニングクローラーをブロックしつつGoogleやBingの検索インデックスを維持します。
既知のすべてのAIクローラーがコンテンツにアクセスするのをブロックする厳格なポリシーを作成します。
robots.txtに説明コメントを追加して他の開発者がポリシーの決定内容を理解できるようにします。

用途

使用例

例

選択的ブロックを行うブログ

あるブログではGoogleとBingの検索結果には表示させたいがコンテンツをAIトレーニングに使用されたくないと考えています。選択的プリセットを使用してデフォルトですべてのボットを許可しつつGPTBot、ClaudeBot、Google-Extended、PerplexityBotを個別にブロックします。

例

すべてに開放するドキュメントサイト

オープンソースのドキュメントサイトではAI検索も含めて最大限の検索性を求めています。オープンプリセットを使用するとAIクローラーブロックは追加されずトレーニングクローラーを含むすべてのボットが完全にアクセスできます。

よくあるミス

AIクローラーブロックをワイルドカードのUser-agent: * Allow: / ルールの後に配置するとワイルドカードルールが個別ブロックより優先されます。特定のクローラールールは常に汎用ルールより上に配置してください。
robots.txtがすべてのAIデータ収集を防ぐわけではないことを理解しておく必要があります。すべてのクローラーがrobots.txtを尊重するわけではなく他の手段でコンテンツが収集される可能性があります。
Google-Extendedをブロックしても通常のGoogle検索インデックスが機能すると期待するのは誤りです。Google-ExtendedはAIトレーニング用の別個のクローラーでありGooglebotとは異なります。

検証

実際のrobots.txtをhttps://yoursite.com/robots.txtで確認しAIクローラーブロックがワイルドカードのUser-agentルールより上に表示されていることを確認します。
Google Search Consoleのrobots.txtテスターを使用してファイルが有効でGoogleが正しく読み取れることを確認します。

FAQ

AIクローラー robots.txt ビルダーのFAQ

robots.txtでGPTBotをブロックするとOpenAIが私のコンテンツを使用するのを防げますか？

OpenAIはGPTBotがrobots.txtの指示を尊重することを表明しています。GPTBotをブロックすることで今後OpenAIがトレーニングデータ用にサイトをクロールするのを防ぐことができます。ただしブロック追加前にすでにトレーニングデータに含まれていたコンテンツが削除されるわけではなくOpenAIの方針以外に独立した執行メカニズムはありません。

GooglebotとGoogle-Extendedの違いは何ですか？

Googlebotはメインの検索インデックス用クローラーです。これをブロックするとサイトがGoogle検索から完全に削除されます。Google-ExtendedはAIおよび機械学習モデルのトレーニングに使用される別個のクローラーでありGoogle検索のランキングやインデックスに影響を与えずに安全にブロックできます。

Common Crawl（CCBot）をブロックすべきですか？

Common Crawlは多くのAIトレーニングデータセット学術研究ウェブアーカイブで使用される無料のオープンウェブクロールデータを提供しています。CCBotをブロックすると将来のCommon Crawlデータセットにコンテンツが含まれなくなりオープンソースのAIトレーニングコーパスでの存在感が低下する可能性があります。AIトレーニングデータにコンテンツを含めたい場合はCCBotを許可し含めたくない場合はブロックしてください。