Header Robots (no Meta Robots)
·
Siempre que se habla de limitar el acceso de los robots de búsqueda a un contenido hablamos de los robots.txt y del meta-robots. Con estos sistemas básicamente podemos controlar cosas muy generales como todo un sitio o unas carpetas, y de forma más detallada, cada una de las páginas o determinados tipos de fichero. El tema está en que en algunas ocasiones hay ficheros como los PDF, los vídeos o imágenes que, de forma particular, podemos decidir no indexarlos… pero ¿cómo le puedo poner un noindex a un PDF? Para ello usaremos los encabezados para robots. Es por esto que… Read More →