jquery.app
Espanol
EnglishDeutschFrancaisEspanol日本語Nederlands

Herramientas SEO

Gratis Constructor de robots.txt

Crea un archivo robots.txt simple con reglas de sitemap y rastreo.

Cargando herramienta...

Qué es Constructor de robots.txt?

Un archivo robots.txt proporciona reglas de acceso a nivel de sitio para los rastreadores. Puede permitir o denegar rutas, señalar al sitemap y documentar políticas de rastreadores. Los sitios estáticos a menudo necesitan un archivo robots.txt pequeño y predecible porque las compilaciones y las implementaciones de GitHub Pages solo publican lo que existe en la carpeta final.

Respuesta rápida

Use robots.txt para indicar a los rastreadores qué partes de su sitio no deben acceder. Controla el tráfico de rastreo, no la indexación — las directivas como noindex pertenecen a meta tags o encabezados HTTP.

Last updated: 2026-05-25

Limitaciones

  • Las directivas robots.txt son consultivas. Actores maliciosos pueden ignorarlas.
  • Bloquear una página en robots.txt no evita la indexación si otras páginas enlazan a ella.
  • Cada subdominio necesita su propio archivo robots.txt.

Sources:MDN Web Docs · W3C Specifications · jquery.app on GitHub

Cómo usar esta herramienta

  1. Ingrese la URL pública del sitio y la URL del sitemap.
  2. Elija si los rastreadores normales deben tener acceso permitido en todo el sitio.
  3. Agregue rutas denegadas solo cuando haya una razón real para bloquear el rastreo.
  4. Copie el resultado en robots.txt en la raíz del sitio publicado.

Para qué puedes usarla

  • Crear un archivo robots.txt limpio para GitHub Pages.
  • Agregar una referencia al sitemap sin escribir el archivo manualmente.
  • Documentar el acceso público de rastreadores antes del lanzamiento.

Casos de uso

Ejemplos prácticos

Ejemplo

Lanzamiento de sitio estático

Un nuevo sitio estático necesita permitir el rastreo y señalar a los buscadores hacia el sitemap. El constructor crea un archivo mínimo con la URL final del sitemap.

Ejemplo

Bloquear carpetas de utilidad generadas

Un sitio puede denegar rutas de exportación temporales mientras mantiene las páginas públicas y las herramientas abiertas a los rastreadores.

Errores comunes

  • Bloquear páginas importantes y esperar que se posicionen.
  • Usar robots.txt para eliminar una página ya indexada en lugar de usar noindex.
  • Olvidar publicar robots.txt en la salida de compilación final.

Verificación

  1. Pruebe el robots.txt generado usando la herramienta robots.txt Tester de Google Search Console.
  2. Verifique que el archivo se sirva desde la raíz del sitio con código de estado 200 y Content-Type: text/plain.

Comparación

robots.txt vs meta robots vs X-Robots-Tag

Aspectrobots.txtmeta robotsX-Robots-Tag
ScopeSite-wide or directory-levelPer-page onlyPer-page or per-file type via HTTP response
Which crawlers read itAll compliant crawlers. Bad actors may ignore it.All compliant crawlers. Same compliance model as robots.txt.All compliant crawlers. Read from the HTTP header regardless of file type.
Available directivesallow, disallow, sitemap, crawl-delayindex, noindex, follow, nofollow, noarchive, nosnippet, max-snippet, max-image-preview, noimageindexSame directives as meta robots plus noindex and nofollow for non-HTML files such as PDFs and images
Use casesPrevent crawling of admin areas, staging directories, or search pagesPrevent indexing of a specific thank-you page or thin content pageBlock indexing of PDFs, images, or other non-HTML resources served from the same domain

robots.txt controls crawl access at the site level, meta robots controls indexing per HTML page, and X-Robots-Tag offers the same per-page control as meta robots but works for any file type via the HTTP response header.

FAQ

Preguntas sobre Constructor de robots.txt

¿Puede robots.txt forzar una página fuera de Google?

No. Controla el rastreo. Para decisiones de indexación, use noindex a nivel de página.

¿Debo agregar una línea de sitemap?

Sí. Una línea Sitemap da a los rastreadores una ruta estable a la lista de URL canónicas del sitio.

¿Debo bloquear los rastreadores de IA por defecto?

Es una decisión política. Si la visibilidad en IA importa, evite bloquear rastreadores a menos que tenga una razón clara de negocio o privacidad.

¿Debo usar un robots.txt diferente para staging y producción?

Sí. Un sitio de staging debe bloquear todos los rastreadores con Disallow: / para evitar contenido duplicado. La producción debe ser permisiva.

Herramientas relacionadas

Más herramientas seo

Prueba también

Prueba también