Probador de robots.txt
Comprueba si tu archivo robots.txt tiene una sintaxis válida y si una ruta concreta está permitida para el bot seleccionado.
¿Qué hace la herramienta Robots.txt Tester?
Robots.txt Tester descarga el archivo robots.txt de tu dominio y analiza sus reglas. La herramienta detecta redirecciones y prueba las reglas en el hosting de destino. Así evitas errores cuando el dominio redirige a una versión de idioma.
Puedes seleccionar un User agent popular, por ejemplo Googlebot. A continuación, la herramienta comprueba si la URL indicada está Allowed o Disallowed. En los resultados verás la regla coincidente y el número de línea.
La herramienta también realiza una validación de sintaxis del archivo robots.txt. Muestra los problemas detectados y resalta las líneas erróneas. Además, presenta el contenido completo del archivo robots.txt en un campo de texto.
¿Cómo ayuda la herramienta Robots.txt Tester a especialistas SEO y propietarios de sitios?
Una sola regla errónea puede bloquear el crawl y la indexación de páginas clave del sitio. Esto suele suponer una caída de visibilidad y pérdida de tráfico orgánico. Gracias al test de una ruta concreta puedes detectar rápidamente un riesgo antes de implementar cambios.
En la práctica ahorras tiempo durante la auditoría. En lugar de analizar manualmente las reglas, obtienes una decisión clara y la coincidencia. Esto reduce la verificación de minutos a segundos y disminuye el número de errores.
- Verificación de si la dirección está disponible para el robot del buscador.
- Vista previa de la regla encontrada y el número de línea en robots.txt.
- Evaluación de la validez de la sintaxis e indicación rápida de problemas.
- Lectura segura de robots.txt tras redirecciones a un dominio final.
- Control del estado HTTP de direcciones sitemap declaradas en robots.txt.
Usos habituales de la herramienta Robots.txt Tester
- Comprobar si las nuevas páginas no están bloqueadas por Disallow.
- Verificar reglas tras una migración de dominio o implementación del CDN.
- Probar el acceso para bots diferentes, incluido Googlebot y Bingbot.
- Diagnóstico de problemas con el crawl budget y exclusiones inesperadas de subpáginas.
- Comprobar que robots.txt no devuelve HTML en lugar de un archivo de texto plano.
- Validación rápida de directivas Sitemap y su estado HTTP.
Comparativa de la herramienta Robots.txt Tester con otras herramientas
| Funcionalidad | DiagnoSEO | Otras herramientas |
|---|---|---|
| Descarga automática de robots.txt desde el dominio | ✅ | ✅ |
| Test de reglas para el User agent seleccionado | ✅ | ✅ |
| Decisión Allowed o Disallowed para una ruta concreta | ✅ | ✅ |
| Visualización de la regla coincidente y número de línea | ✅ | ❌ |
| Resaltado de errores de sintaxis en robots.txt | ✅ | ❌ |
| Soporte de redirecciones y descarga de robots.txt del dominio final | ✅ | ❌ |
| Comprobación del estado HTTP de sitemaps desde robots.txt | ✅ | ❌ |
| Mostrar el contenido completo de robots.txt en un campo de texto | ✅ | ✅ |
Consejos y buenas prácticas
- Prueba las URLs de páginas de categorías, filtros y paginación antes de publicar cambios.
- Utiliza reglas Allow precisas cuando bloquees patrones Disallow amplios.
- Asegura la coherencia entre robots.txt y la estrategia de indexación del sitio.
- Después de aplicar cambios, revisa el estado HTTP del archivo robots.txt y de los sitemaps declarados.
- Evita bloquear por error recursos necesarios para renderizar las páginas.
Errores más frecuentes
- Falta de archivo robots.txt.
- Bloqueo de secciones importantes por un Disallow demasiado general.
- Sintaxis incorrecta de las directivas o falta de dos puntos.
- Reglas antes de User agent, dificultando la interpretación de grupos.
- Redirección involuntaria de robots.txt a HTML o la página de inicio.
- Entradas antiguas sobre Sitemap o códigos de respuesta del servidor incorrectos.
¿Cómo usar la herramienta Robots.txt Tester?
- Pega la URL de la página que quieres probar.
- Elige un User agent de la lista, por ejemplo Googlebot.
- Inicia el test y comprueba la decisión Allowed o Disallowed.
- Consulta la regla encontrada y el número de línea en robots.txt.
- Revisa los mensajes de validación de sintaxis y los errores resaltados.
- En la parte inferior revisa los estados HTTP de los sitemaps XML desde robots.txt.
Estudio de caso
Una tienda online notó una disminución en el número de páginas indexadas. Tras las pruebas, se detectó que una regla Disallow bloqueaba la nueva ruta de categoría. La herramienta indicó la coincidencia y el número de línea en robots.txt. Tras corregir la regla y repetir el test, las URLs volvieron a ser correctamente rastreadas.
Además, la tabla de estados de sitemap indicó un problema con uno de los mapas del sitio. El servidor devolvía un error, por lo que los bots no podían acceder a él. Tras reparar el archivo sitemap, el monitoreo fue más sencillo.
FAQ
-
Allowed significa que las reglas de robots.txt no bloquean esa ruta para el bot seleccionado. Disallowed significa bloqueo.
-
Sí. La herramienta detecta el dominio final y descarga robots.txt del host de destino.
-
La herramienta busca la mejor coincidencia. Gana la regla coincidente más larga. Allow gana en caso de empate.
-
Los errores aparecen si las directivas tienen formato incorrecto o se encuentran antes de User agent. El resaltado ayuda a corregirlos.
-
Robots.txt suele contener directivas Sitemap. La tabla verifica si el servidor devuelve el estado HTTP correcto para esas URLs.