Header Robots (no Meta Robots)

Siempre que se habla de limitar el acceso de los robots de búsqueda a un contenido hablamos de los robots.txt y del meta-robots.

Con estos sistemas básicamente podemos controlar cosas muy generales como todo un sitio o unas carpetas, y de forma más detallada, cada una de las páginas o determinados tipos de fichero.

El tema está en que en algunas ocasiones hay ficheros como los PDF, los vídeos o imágenes que, de forma particular, podemos decidir no indexarlos… pero ¿cómo le puedo poner un noindex a un PDF? Para ello usaremos los encabezados para robots.

Es por esto que existe la directiva HTTP X-Robots-Tag que, gracias a un simple encabezado, permite enviar información como la del meta-robots pero vía servidor web.

Un ejemplo sencillo de encabezado podría ser este:

X-Robots-Tag: noindex

Básicamente le diremos al robot que haya solicitado el dichero que no se indexe… aunque también se pueden hacer cosas como:

X-Robots-Tag: noarchive, nosnippet

En este caso le decimos que no muestre un enlace a la caché y que no muestre el resumen (snippet) en los resultados de búsqueda.

Sin duda es una forma más de avisar a los robots lo que pueden o no hacer cuando llegan a nuestro sitio web.

Categorías Javier, SEO

Deja un comentario