¿Te has preguntado si tu fichero robots.txt aparece en Google? La respuesta es que, en principio, sí, puede aparecer. Puedes hacer una prueba con una consulta similar a esta [inurl:”robots.txt”].
Es curioso que un fichero que en principio sólo deberían leer los propios rastreadores aparezca en los resultados de búsqueda y que, por norma general nadie se preocupe de evitar que se indexe… pero ¿es posible no indexar este fichero? La respuesta es simple: sí.
Para eliminar de los resultados de búsqueda este fichero robots.txttenemos dos opciones:
- Eliminarlo desde el propio robots.txt, es decir, añadir una línea
Disallow: /robots.txt. - Eliminarlo desde una cabecera HTTP, como
X-Robots-Tag: noindex.
Personalmente recomiendo el uso de la segunda opción, ya que el hecho de aplicar un “noindex” implica que sí pueda ser leído pero no mostrado, y la primera, en algún otro buscador, podría ser que no se permitiera su lectura en una siguiente actualización.