SEOツール

無料 robots.txtビルダー

サイトマップとクローラールール付きのrobots.txtファイルを生成します。

ツールを読み込み中...

robots.txtビルダーとは

robots.txtファイルはクローラーにサイトレベルのアクセスルールを提供します。パスを許可または禁止したり、サイトマップを指定したり、クローラーポリシーを文書化したりできます。静的サイトでは、ビルド出力とGitHub Pagesのデプロイが最終フォルダに存在するもののみを公開するため、小さくて予測可能なrobots.txtファイルが必要になることがよくあります。

クイックアンサー

robots.txtを使用して、クローラーにサイトのどの部分にアクセスすべきでないかを指示します。これはクロールトラフィックを制御するものであり、インデックスを制御するものではありません。noindexのようなディレクティブはmetaタグまたはHTTPヘッダーに属します。

Last updated: 2026-05-25

制限事項

robots.txtの指示は助言であり、悪意のある行為者や一部のAIクローラーは完全に無視する可能性があります。
robots.txtでページをブロックしても、他のページがリンクしている場合はインデックスを防げません。インデックスを防ぐにはnoindex metaタグまたはHTTPヘッダーを使用します。
各サブドメインは独自のrobots.txtファイルを必要とします。example.com/robots.txtのルールはsubdomain.example.comには適用されません。

Sources:MDN Web Docs · W3C Specifications · jquery.app on GitHub

使い方

公開サイトURLとサイトマップURLを入力します。
通常のクローラーがサイト全体にアクセスを許可されるかどうかを選択します。
クロールをブロックする本当の理由がある場合にのみ、禁止パスを追加します。
結果をrobots.txtとして公開サイトルートにコピーします。

主な用途

GitHub Pages用のクリーンなrobots.txtファイルを作成する。
ファイルを手書きせずにサイトマップ参照を追加する。
公開前にクローラーのアクセスルールを文書化する。

用途

使用例

例

静的サイトの公開

新しい静的サイトでクロールを許可し、検索エンジンをサイトマップに誘導する必要がある場合、ビルダーは最終的なサイトマップURLを含む最小限のファイルを作成します。

例

生成されたユーティリティフォルダのブロック

一時的なエクスポートパスを禁止しつつ、公開ページとツールはクローラーに開放したままにできます。

よくあるミス

重要なページをブロックしてランキングされることを期待すること。
すでにインデックスされているページを削除するために、noindexや削除ツールの代わりにrobots.txtを使用すること。
robots.txtを最終ビルド出力に公開するのを忘れること。

検証

Google Search Consoleのrobots.txtテスターツールを使用して、生成されたrobots.txtをテストします。
ファイルがサイトルートから200ステータスコードとContent-Type: text/plainで配信されていることを確認します。

比較

robots.txt vs meta robots vs X-Robots-Tag

Aspect	robots.txt	meta robots	X-Robots-Tag
Scope	Site-wide or directory-level	Per-page only	Per-page or per-file type via HTTP response
Which crawlers read it	All compliant crawlers. Bad actors may ignore it.	All compliant crawlers. Same compliance model as robots.txt.	All compliant crawlers. Read from the HTTP header regardless of file type.
Available directives	allow, disallow, sitemap, crawl-delay	index, noindex, follow, nofollow, noarchive, nosnippet, max-snippet, max-image-preview, noimageindex	Same directives as meta robots plus noindex and nofollow for non-HTML files such as PDFs and images
Use cases	Prevent crawling of admin areas, staging directories, or search pages	Prevent indexing of a specific thank-you page or thin content page	Block indexing of PDFs, images, or other non-HTML resources served from the same domain

robots.txt controls crawl access at the site level, meta robots controls indexing per HTML page, and X-Robots-Tag offers the same per-page control as meta robots but works for any file type via the HTTP response header.

FAQ

robots.txtビルダーのFAQ

robots.txtでページをGoogleから強制的に削除できますか？

いいえ。robots.txtはクロールを制御します。インデックスに関する決定には、クローラーがページにアクセスできる場合にページレベルのnoindexを使用します。

サイトマップ行を追加すべきですか？

はい。Sitemap行はクローラーにサイトのcanonical URLリストへの安定したパスを提供します。

デフォルトでAIクローラーをブロックすべきですか？

それはポリシーの選択です。AIでの可視性が重要な場合、明確なビジネス上またはプライバシー上の理由がない限り、クローラーのブロックは避けてください。

ステージングとプロダクションで異なるrobots.txtを使用すべきですか？

はい。ステージングや開発サイトでは、Disallow: /ですべてのクローラーをブロックし、重複コンテンツの問題や進行中のページの誤ったインデックスを防ぐ必要があります。プロダクションのrobots.txtは、インデックスを希望するページのクロールを許可する十分な寛容さを持つべきです。デプロイ環境に基づいて、別々のrobots.txtファイルを使用するか、ビルドプロセス中に条件付きで生成してください。