jquery.app
Deutsch
EnglishDeutschFrancaisEspanol日本語Nederlands

SEO-Tools

Kostenlose robots.txt-Builder

Erstelle eine einfache robots.txt-Datei mit Sitemap- und Crawler-Regeln.

Tool wird geladen...

Was ist robots.txt-Builder?

Eine robots.txt-Datei gibt Crawlern seitenweite Zugriffsregeln. Sie kann Pfade erlauben oder verbieten, auf die Sitemap verweisen und Crawler-Richtlinien dokumentieren. Statische Sites benotigen oft eine kleine, vorhersagbare robots.txt-Datei, da Build-Ausgaben und GitHub-Pages-Bereitstellungen nur das veroffentlichen, was im endgultigen Ordner existiert.

Kurze Antwort

Verwenden Sie robots.txt, um Crawlern mitzuteilen, auf welche Teile Ihrer Site sie nicht zugreifen sollen. Es steuert den Crawl-Traffic, nicht die Indizierung -- Direktiven wie noindex gehoren in Meta-Tags oder HTTP-Header.

Last updated: 2026-05-25

Einschränkungen

  • robots.txt-Direktiven sind empfehlend. Boswillige Akteure und einige KI-Crawler ignorieren sie moglicherweise vollstandig.
  • Das Blockieren einer Seite in robots.txt verhindert keine Indizierung, wenn andere Seiten darauf verweisen. Verwenden Sie noindex-Meta-Tags oder HTTP-Header, um die Indizierung zu verhindern.
  • Jede Subdomain benotigt ihre eigene robots.txt-Datei. Die Datei unter example.com/robots.txt gilt nicht fur subdomain.example.com.

Sources:MDN Web Docs · W3C Specifications · jquery.app on GitHub

So nutzt du dieses Tool

  1. Geben Sie die offentliche Site-URL und Sitemap-URL ein.
  2. Wahlen Sie, ob normale Crawler auf der gesamten Site erlaubt sein sollen.
  3. Fugen Sie gesperrte Pfade nur hinzu, wenn es einen echten Grund gibt, das Crawlen zu blockieren.
  4. Kopieren Sie das Ergebnis in robots.txt im veroffentlichten Site-Root.

Wofür du es nutzen kannst

  • Eine saubere robots.txt-Datei fur GitHub Pages erstellen.
  • Eine Sitemap-Referenz hinzufugen, ohne die Datei von Hand zu schreiben.
  • Offentlichen Crawler-Zugriff vor dem Start dokumentieren.

Anwendungsfalle

Praxisbeispiele

Beispiel

Statischer Site-Start

Eine neue statische Site muss Crawling erlauben und Suchmaschinen auf die Sitemap verweisen. Der Builder erstellt eine minimale Datei mit der endgultigen Sitemap-URL.

Beispiel

Generierte Dienstprogrammordner blockieren

Eine Site kann temporare Exportpfade sperren, wahrend offentliche Seiten und Tools fur Crawler offen bleiben.

Haufige Fehler

  • Wichtige Seiten zu blockieren und zu erwarten, dass sie ranken.
  • robots.txt zu verwenden, um eine bereits indexierte Seite zu entfernen, anstatt noindex oder Entfernungswerkzeuge zu nutzen.
  • Zu vergessen, robots.txt in die endgultige Build-Ausgabe zu ubernehmen.

Überprüfung

  1. Testen Sie die generierte robots.txt mit dem robots.txt-Tester der Google Search Console.
  2. Uberprufen Sie, ob die Datei vom Site-Root mit einem 200-Statuscode und Content-Type: text/plain ausgeliefert wird.

Vergleich

robots.txt vs meta robots vs X-Robots-Tag

Aspectrobots.txtmeta robotsX-Robots-Tag
ScopeSite-wide or directory-levelPer-page onlyPer-page or per-file type via HTTP response
Which crawlers read itAll compliant crawlers. Bad actors may ignore it.All compliant crawlers. Same compliance model as robots.txt.All compliant crawlers. Read from the HTTP header regardless of file type.
Available directivesallow, disallow, sitemap, crawl-delayindex, noindex, follow, nofollow, noarchive, nosnippet, max-snippet, max-image-preview, noimageindexSame directives as meta robots plus noindex and nofollow for non-HTML files such as PDFs and images
Use casesPrevent crawling of admin areas, staging directories, or search pagesPrevent indexing of a specific thank-you page or thin content pageBlock indexing of PDFs, images, or other non-HTML resources served from the same domain

robots.txt controls crawl access at the site level, meta robots controls indexing per HTML page, and X-Robots-Tag offers the same per-page control as meta robots but works for any file type via the HTTP response header.

FAQ

Fragen zu robots.txt-Builder

Kann robots.txt eine Seite aus Google erzwingen?

Nein. Es steuert das Crawling. Fur Indizierungsentscheidungen verwenden Sie seitenbezogenes noindex, wenn Crawler auf die Seite zugreifen konnen.

Sollte ich eine Sitemap-Zeile hinzufugen?

Ja. Eine Sitemap-Zeile gibt Crawlern einen stabilen Pfad zur kanonischen URL-Liste der Site.

Sollte ich KI-Crawler standardmaBig blockieren?

Das ist eine Richtlinienentscheidung. Wenn KI-Sichtbarkeit wichtig ist, vermeiden Sie es, Crawler zu blockieren, es sei denn, Sie haben einen klaren geschaftlichen oder datenschutzrechtlichen Grund.

Sollte ich eine andere robots.txt fur Staging und Produktion verwenden?

Ja. Eine Staging- oder Entwicklungsseite sollte alle Crawler mit Disallow: / blockieren, um doppelte Inhaltsprobleme und versehentliche Indizierung von in Arbeit befindlichen Seiten zu verhindern. Die Produktions-robots.txt sollte permissiv genug sein, um das Crawlen von Seiten zu ermoglichen, die Sie indiziert haben mochten. Verwenden Sie separate robots.txt-Dateien oder generieren Sie sie wahrend des Build-Prozesses basierend auf der Bereitstellungsumgebung.

Verwandte Tools

Weitere seo-tools

Auch ausprobieren

Auch ausprobieren