jquery.app
Francais
EnglishDeutschFrancaisEspanol日本語Nederlands

Outils SEO

Gratuit Constructeur robots.txt

Créez un fichier robots.txt simple avec règles de sitemap et de crawl.

Chargement de l'outil...

Qu'est-ce que Constructeur robots.txt ?

Un fichier robots.txt donne aux robots d'exploration des regles d'acces au niveau du site. Il peut autoriser ou interdire des chemins, pointer vers le sitemap et documenter les politiques d'exploration. Les sites statiques ont souvent besoin d'un petit fichier robots.txt previsible car les sorties de construction et les deploiements GitHub Pages ne publient que ce qui existe dans le dossier final.

Réponse rapide

Utilisez robots.txt pour indiquer aux robots d'exploration les parties de votre site auxquelles ils ne doivent pas acceder. Il controle le trafic d'exploration, pas l'indexation — les directives comme noindex appartiennent aux balises meta ou aux en-tetes HTTP.

Last updated: 2026-05-25

Limites

  • Les directives robots.txt sont indicatives. Les acteurs malveillants et certains robots d'IA peuvent les ignorer completement.
  • Bloquer une page dans robots.txt n'empeche pas l'indexation si d'autres pages pointent vers elle. Utilisez les balises meta noindex ou les en-tetes HTTP pour empecher l'indexation.
  • Chaque sous-domaine a besoin de son propre fichier robots.txt. Le fichier a exemple.com/robots.txt ne s'applique pas a sous-domaine.exemple.com.

Sources:MDN Web Docs · W3C Specifications · jquery.app on GitHub

Comment utiliser cet outil

  1. Saisissez l'URL publique du site et l'URL du sitemap.
  2. Choisissez si les robots d'exploration normaux doivent etre autorises sur l'ensemble du site.
  3. Ajoutez des chemins interdits uniquement lorsqu'il y a une vraie raison de bloquer l'exploration.
  4. Copiez le resultat dans robots.txt a la racine du site publie.

A quoi il sert

  • Creer un fichier robots.txt propre pour GitHub Pages.
  • Ajouter une reference de sitemap sans ecrire le fichier a la main.
  • Documenter l'acces public des robots d'exploration avant le lancement.

Cas d'usage

Exemples concrets

Exemple

Lancement de site statique

Un nouveau site statique doit autoriser l'exploration et pointer les moteurs de recherche vers le sitemap. Le constructeur cree un fichier minimal avec l'URL finale du sitemap.

Exemple

Bloquer les dossiers utilitaires generes

Un site peut interdire les chemins d'exportation temporaires tout en laissant les pages publiques et les outils ouverts aux robots d'exploration.

Erreurs frequentes

  • Bloquer des pages importantes et s'attendre a ce qu'elles soient classees.
  • Utiliser robots.txt pour supprimer une page deja indexee au lieu d'utiliser noindex ou les outils de suppression.
  • Oublier de publier robots.txt dans la sortie de construction finale.

Vérification

  1. Testez le robots.txt genere en utilisant l'outil de test robots.txt de Google Search Console.
  2. Verifiez que le fichier est servi depuis la racine du site avec un code de statut 200 et Content-Type: text/plain.

Comparaison

robots.txt vs meta robots vs X-Robots-Tag

Aspectrobots.txtmeta robotsX-Robots-Tag
ScopeSite-wide or directory-levelPer-page onlyPer-page or per-file type via HTTP response
Which crawlers read itAll compliant crawlers. Bad actors may ignore it.All compliant crawlers. Same compliance model as robots.txt.All compliant crawlers. Read from the HTTP header regardless of file type.
Available directivesallow, disallow, sitemap, crawl-delayindex, noindex, follow, nofollow, noarchive, nosnippet, max-snippet, max-image-preview, noimageindexSame directives as meta robots plus noindex and nofollow for non-HTML files such as PDFs and images
Use casesPrevent crawling of admin areas, staging directories, or search pagesPrevent indexing of a specific thank-you page or thin content pageBlock indexing of PDFs, images, or other non-HTML resources served from the same domain

robots.txt controls crawl access at the site level, meta robots controls indexing per HTML page, and X-Robots-Tag offers the same per-page control as meta robots but works for any file type via the HTTP response header.

FAQ

Questions sur Constructeur robots.txt

robots.txt peut-il forcer la sortie d'une page de Google ?

Non. Il controle l'exploration. Pour les decisions d'indexation, utilisez noindex au niveau de la page lorsque les robots d'exploration peuvent acceder a la page.

Dois-je ajouter une ligne Sitemap ?

Oui. Une ligne Sitemap donne aux robots d'exploration un chemin stable vers la liste d'URLs canoniques du site.

Dois-je bloquer les robots d'IA par defaut ?

C'est un choix de politique. Si la visibilite IA est importante, evitez de bloquer les robots d'exploration sauf si vous avez une raison commerciale ou de confidentialite claire.

Dois-je utiliser un robots.txt different pour le staging et la production ?

Oui. Un site de staging ou de developpement doit bloquer tous les robots d'exploration avec Disallow: / pour prevenir les problemes de contenu duplique et l'indexation accidentelle de pages en cours. Le robots.txt de production doit etre suffisamment permissif pour permettre l'exploration des pages que vous voulez indexer. Utilisez des fichiers robots.txt separes ou generes-les conditionnellement pendant le processus de construction en fonction de l'environnement de deploiement.

Outils lies

Autres outils outils seo

A essayer aussi

A essayer aussi