jquery.app
Nederlands
EnglishDeutschFrancaisEspanol日本語Nederlands

SEO-tools

Gratis AI-crawler robots.txt Builder

Bouw robots.txt-regels voor AI-crawlers met open, selectieve of strikte presets.

Tool laden...

Wat is AI-crawler robots.txt Builder?

Een robots.txt-bestand vertelt crawlers welke delen van uw site zij mogen bezoeken. Met de opkomst van AI-trainingscrawlers van OpenAI, Anthropic, Google, Perplexity en Common Crawl gebruiken uitgevers nu robots.txt om aan te geven of hun content gebruikt mag worden voor AI-training. Deze tool bouwt AI-specifieke robots.txt-blokken met duidelijke categorieën voor trainingsbots versus zoek-/verwijzingsbots.

Snel antwoord

Bouw robots.txt-regels om te bepalen welke AI-crawlers uw site mogen bezoeken. Gebruik een selectief beleid om trainingsbots (GPTBot, ClaudeBot, Google-Extended) te blokkeren terwijl zoekmachines (Googlebot, Bingbot) worden toegestaan. Plaats specifieke crawlerblokken boven algemene wildcard-regels in robots.txt.

Last updated: 2026-05-28

Beperkingen

  • robots.txt is een vrijwillige standaard - niet alle crawlers respecteren het. Sommige AI-gegevensverzameling vindt plaats via andere middelen dan webcrawling en robots.txt heeft geen handhavingsmechanisme.
  • Sommige CDN's en WAF's (waaronder Cloudflare Bot Management) kunnen robots.txt overschrijven met eigen botblokkeringsregels. Controleer uw CDN-configuratie na het implementeren van robots.txt-wijzigingen.
  • Er verschijnen regelmatig nieuwe AI-crawlers. Deze tool bevat crawlers die bekend zijn vanaf begin 2026. Controleer periodiek op nieuwe crawler namen en werk uw robots.txt dienovereenkomstig bij.

Sources:MDN Web Docs · W3C Specifications · jquery.app on GitHub

Zo gebruik je deze tool

  1. Kies een beleidspreset: Open (niets blokkeren), Selectief (trainingsbots blokkeren, zoekmachines toestaan) of Strikt (alle AI-crawlers blokkeren).
  2. Pas individuele crawlerblokken aan door specifieke bots aan of uit te vinken.
  3. Kopieer de gegenereerde robots.txt-blokken en voeg ze toe aan het robots.txt-bestand van uw site, boven algemene wildcard-regels.

Waarvoor je het kunt gebruiken

  • Blokkeer AI-trainingscrawlers van OpenAI, Anthropic en anderen terwijl Google- en Bing-zoekindexering actief blijft.
  • Maak een strikt beleid dat alle bekende AI-crawlers blokkeert van toegang tot content.
  • Voeg toelichtende commentaren toe aan robots.txt zodat andere ontwikkelaars de beleidskeuzes begrijpen.

Gebruik

Praktische voorbeelden

Voorbeeld

Blog met selectieve blokkering

Een blog wil verschijnen in Google- en Bing-zoekresultaten maar wil niet dat de content wordt gebruikt voor AI-training. Gebruik de Selectieve preset om alle bots standaard toe te staan maar specifiek GPTBot, ClaudeBot, Google-Extended en PerplexityBot te blokkeren.

Voorbeeld

Documentatiesite open voor iedereen

Een open-source documentatiesite wil maximale vindbaarheid inclusief AI-zoekopdrachten. Gebruik de Open preset die geen AI-crawlerblokken toevoegt - alle bots inclusief trainingscrawlers hebben volledige toegang.

Veelgemaakte fouten

  • AI-crawlerblokken plaatsen na een wildcard User-agent: * Allow: / regel - de wildcardregel overschrijft de specifieke blokken. Plaats specifieke crawlerregels altijd boven algemene regels.
  • Aannemen dat robots.txt-blokken alle AI-gegevensverzameling voorkomen - niet alle crawlers respecteren robots.txt en sommige content kan via andere wegen worden verzameld.
  • Google-Extended blokkeren maar verwachten dat normale Google-zoekindexering blijft werken - Google-Extended is een aparte crawler voor AI-training, niet dezelfde als Googlebot.

Verificatie

  1. Controleer uw live robots.txt op https://uw site.com/robots.txt en verifieer dat de AI-crawlerblokken boven eventuele wildcard User-agent regels verschijnen.
  2. Gebruik de robots.txt Tester in Google Search Console om te bevestigen dat het bestand geldig is en Google het correct kan lezen.

FAQ

Vragen over AI-crawler robots.txt Builder

Voorkomt het blokkeren van GPTBot in robots.txt dat OpenAI mijn content gebruikt?

OpenAI stelt dat GPTBot robots.txt-richtlijnen respecteert. Het blokkeren van GPTBot zou moeten voorkomen dat OpenAI uw site crawlt voor trainingsdata. Dit verwijdert echter geen content die al in trainingsdata is opgenomen voordat de blokkering werd toegevoegd, en er is geen onafhankelijk handhavingsmechanisme buiten het beleid van OpenAI.

Wat is het verschil tussen Googlebot en Google-Extended?

Googlebot is de belangrijkste zoekindexeringscrawler - het blokkeren ervan verwijdert uw site volledig uit Google Zoeken. Google-Extended is een aparte crawler die wordt gebruikt voor AI- en machine learning-modeltraining. U kunt Google-Extended veilig blokkeren zonder uw Google-zoekrankings of indexering te beïnvloeden.

Moet ik Common Crawl (CCBot) blokkeren?

Common Crawl biedt gratis, open webcrawldata die wordt gebruikt door veel AI-trainingsdatasets, academisch onderzoek en webarchieven. Het blokkeren van CCBot voorkomt dat uw content verschijnt in toekomstige Common Crawl-datasets, wat de aanwezigheid van uw content in sommige open-source AI-trainingscorpora kan verminderen.

Gerelateerde tools

Meer seo-tools

Probeer ook

Probeer ook

Html

CSP Hash Generator

Genereer CSP-hashwaarden voor inline scripts en styles. Hash exacte code met SHA-256, SHA-384 of SHA-512.

Open tool