NoIndex del robots.txt

·

¿Te has preguntado si tu fichero robots.txt aparece en Google? La respuesta es que, en principio, sí, puede aparecer. Puedes hacer una prueba con una consulta similar a esta [inurl:”robots.txt”].

Es curioso que un fichero que en principio sólo deberían leer los propios rastreadores aparezca en los resultados de búsqueda y que, por norma general nadie se preocupe de evitar que se indexe… pero ¿es posible no indexar este fichero? La respuesta es simple: sí.

Para eliminar de los resultados de búsqueda este fichero robots.txttenemos dos opciones:

  • Eliminarlo desde el propio robots.txt, es decir, añadir una línea Disallow: /robots.txt.
  • Eliminarlo desde una cabecera HTTP, como X-Robots-Tag: noindex.

Personalmente recomiendo el uso de la segunda opción, ya que el hecho de aplicar un “noindex” implica que sí pueda ser leído pero no mostrado, y la primera, en algún otro buscador, podría ser que no se permitiera su lectura en una siguiente actualización.

Comments

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *