Siempre que se habla de limitar el acceso de los robots de búsqueda a un contenido hablamos de los robots.txt y del meta-robots.
Con estos sistemas básicamente podemos controlar cosas muy generales como todo un sitio o unas carpetas, y de forma más detallada, cada una de las páginas o determinados tipos de fichero.
El tema está en que en algunas ocasiones hay ficheros como los PDF, los vídeos o imágenes que, de forma particular, podemos decidir no indexarlos… pero ¿cómo le puedo poner un noindex a un PDF? Para ello usaremos los encabezados para robots.
Es por esto que existe la directiva HTTP X-Robots-Tag que, gracias a un simple encabezado, permite enviar información como la del meta-robots pero vía servidor web.
Un ejemplo sencillo de encabezado podría ser este:
X-Robots-Tag: noindex
Básicamente le diremos al robot que haya solicitado el dichero que no se indexe… aunque también se pueden hacer cosas como:
X-Robots-Tag: noarchive, nosnippet
En este caso le decimos que no muestre un enlace a la caché y que no muestre el resumen (snippet) en los resultados de búsqueda.
Sin duda es una forma más de avisar a los robots lo que pueden o no hacer cuando llegan a nuestro sitio web.
Deja una respuesta