jquery.app
Nederlands
EnglishDeutschFrancaisEspanol日本語Nederlands

SEO-tools

Gratis robots.txt-bouwer

Genereer een eenvoudig robots.txt-bestand met sitemap- en crawlerregels.

Tool laden...

Wat is robots.txt-bouwer?

Een robots.txt-bestand geeft crawlers toegangsregels op siteniveau. Het kan paden toestaan of weigeren, naar de sitemap verwijzen en crawler-beleid documenteren. Statische sites hebben vaak een klein, voorspelbaar robots.txt-bestand nodig omdat build-outputs en GitHub Pages-implementaties alleen publiceren wat in de uiteindelijke map bestaat.

Snel antwoord

Gebruik robots.txt om crawlers te vertellen welke delen van uw site ze niet mogen benaderen. Het beheert crawlverkeer, niet indexering — richtlijnen zoals noindex horen thuis in meta-tags of HTTP-headers.

Last updated: 2026-05-25

Beperkingen

  • Robots.txt-richtlijnen zijn adviserend. Kwaadwillenden en sommige AI-crawlers kunnen ze volledig negeren.
  • Het blokkeren van een pagina in robots.txt voorkomt indexering niet als andere pagina's ernaar linken. Gebruik noindex meta-tags of HTTP-headers om indexering te voorkomen.
  • Elk subdomein heeft zijn eigen robots.txt-bestand nodig. Het bestand op voorbeeld.nl/robots.txt is niet van toepassing op subdomein.voorbeeld.nl.

Sources:MDN Web Docs · W3C Specifications · jquery.app on GitHub

Zo gebruik je deze tool

  1. Voer de openbare site-URL en sitemap-URL in.
  2. Kies of normale crawlers toegang moeten hebben tot de hele site.
  3. Voeg alleen geweigerde paden toe wanneer er een echte reden is om crawlen te blokkeren.
  4. Kopieer het resultaat naar robots.txt in de gepubliceerde site-root.

Waarvoor je het kunt gebruiken

  • Maak een schoon robots.txt-bestand voor GitHub Pages.
  • Voeg een sitemap-referentie toe zonder het bestand handmatig te schrijven.
  • Documenteer openbare crawler-toegang vóór de lancering.

Gebruik

Praktische voorbeelden

Voorbeeld

Statische site lancering

Een nieuwe statische site moet crawlen toestaan en zoekmachines naar de sitemap verwijzen. De builder maakt een minimaal bestand met de uiteindelijke sitemap-URL.

Voorbeeld

Gegenereerde utility-mappen blokkeren

Een site kan tijdelijke exportpaden weigeren terwijl openbare pagina's en tools open blijven voor crawlers.

Veelgemaakte fouten

  • Belangrijke pagina's blokkeren en verwachten dat ze ranken.
  • Robots.txt gebruiken om een reeds geïndexeerde pagina te verwijderen in plaats van noindex of verwijderingstools.
  • Vergeten robots.txt in de uiteindelijke build-output te publiceren.

Verificatie

  1. Test de gegenereerde robots.txt met de robots.txt Tester-tool in Google Search Console.
  2. Controleer of het bestand wordt geserveerd vanaf de site-root met een 200-statuscode en Content-Type: text/plain.

Vergelijking

robots.txt vs meta robots vs X-Robots-Tag

Aspectrobots.txtmeta robotsX-Robots-Tag
ScopeSite-wide or directory-levelPer-page onlyPer-page or per-file type via HTTP response
Which crawlers read itAll compliant crawlers. Bad actors may ignore it.All compliant crawlers. Same compliance model as robots.txt.All compliant crawlers. Read from the HTTP header regardless of file type.
Available directivesallow, disallow, sitemap, crawl-delayindex, noindex, follow, nofollow, noarchive, nosnippet, max-snippet, max-image-preview, noimageindexSame directives as meta robots plus noindex and nofollow for non-HTML files such as PDFs and images
Use casesPrevent crawling of admin areas, staging directories, or search pagesPrevent indexing of a specific thank-you page or thin content pageBlock indexing of PDFs, images, or other non-HTML resources served from the same domain

robots.txt controls crawl access at the site level, meta robots controls indexing per HTML page, and X-Robots-Tag offers the same per-page control as meta robots but works for any file type via the HTTP response header.

FAQ

Vragen over robots.txt-bouwer

Kan robots.txt een pagina uit Google dwingen?

Nee. Het beheert crawlen. Gebruik voor indexeringsbeslissingen pagina-niveau noindex wanneer crawlers toegang hebben tot de pagina.

Moet ik een sitemap-regel toevoegen?

Ja. Een Sitemap-regel geeft crawlers een stabiel pad naar de canonieke URL-lijst van de site.

Moet ik AI-crawlers standaard blokkeren?

Dat is een beleidskeuze. Als AI-zichtbaarheid belangrijk is, vermijd dan het blokkeren van crawlers tenzij u een duidelijke zakelijke of privacyreden heeft.

Moet ik een andere robots.txt gebruiken voor staging en productie?

Ja. Een staging- of ontwikkelsite moet alle crawlers blokkeren met Disallow: / om dubbele inhoud en accidentele indexering van pagina's in ontwikkeling te voorkomen. De productie-robots.txt moet permissief genoeg zijn om crawlen van pagina's die u geïndexeerd wilt hebben, toe te staan. Gebruik aparte robots.txt-bestanden of genereer ze voorwaardelijk tijdens het buildproces op basis van de implementatieomgeving.

Gerelateerde tools

Meer seo-tools

Probeer ook

Probeer ook

Html

CSP Hash Generator

Genereer CSP-hashwaarden voor inline scripts en styles. Hash exacte code met SHA-256, SHA-384 of SHA-512.

Open tool