Bloquear un robot de rastreo / buscador

Hay varias formas de bloquear la aparición de páginas en los resultados de búsqueda, pero no todas ellas sirven para lo mismo. Y todo viene porque hacemos un mal uso de las palabras [rastrear] e [indexar].

En base a todo esto hay que diferenciar varias opciones: bloquear por robots.txt, usar el meta-noindex (y su respectiva cabecera HTTP), usar el rel-nofollow

El sistema de bloqueo por robots.txt es el más restrictivo. La idea es que un robot se encuentre en una especie de pasillo y haya puertas a su alrededor. El robot sabe que hay puertas, pero en este caso estas puertas están tapiadas. El robot podría llegar a saber qué hay detrás de esas puertas porque otras puertas o gente de otros pasillos le dicen lo que hay, pero no puede entrar a comprobarlo porque para él esa puerta está tapiada. Esto, en resumen, es que si uno (o varios) elementos están bloqueados por Disallow no deben tenerse en cuenta en absoluto para nada a la hora de organizar los resultados.

El uso del meta-robots (o su cabecera HTTP, que hace exactamente lo mismo) tiene otro objetivo. Siguiendo con el ejemplo de las puertas, esta puerta está disponible para entrar, chafardear pero el robot no le puede decir a nadie lo que ha visto dentro de esa habitación. La diferencia con el punto anterior es que, en este caso el robot sí que conoce lo que hay dentro y lo puede utilizar a la hora de ordenar los resultados, pero con una condición: no le puede decir a nadie lo que hay. Esto significa que se puede rastrear el contenido, que se puede usar a tener en cuenta a la hora de generar el índice pero no puede estar en el índice. Por lo tanto, los elementos con noindex han de estar bien pensados porque sí que afectan a SEO (aunque no se vean en los SERP).

Para acabar, con respecto al rel-nofollow me gustaría dejar claro que los robots sí que siguen estos enlaces (si quieren) y que, en este caso, son ellos los que deciden qué peso darles. Esto viene por lo que el estándar dice y no lo que Google dice:

The nofollow keyword indicates that the link is not endorsed by the original author or publisher of the page, or that the link to the referenced document was included primarily because of a commercial relationship between people affiliated with the two pages.

Como bien dice el texto, el rel-nofollow significa que el enlace de destino no tiene que ver con el autor original del artículo o del soporte o que se ha incluido como parte de una relación comercial entre las dos páginas. En ningún caso indica que los enlaces no se tengan que seguir.

En este último caso no se puede confundir con el meta-nofollow. En este caso sí que los robots deberían no seguir los enlaces que hay en toda esa página:

The NOFOLLOW directive only applies to links on this page. It’s entirely likely that a robot might find the same links on some other page without a NOFOLLOW (perhaps on some other site), and so still arrives at your undesired page.

Para acabar, algunos buscadores (como Google) tienen en sus herramientas para webmasters una zona en la que poder “sacar” determinadas páginas de los resultados. Hay que ener en cuenta que un buscador no puede eliminar contenidos de su índice a menos que esté bloqueado anteriormente, y esta es la razón por la que antes de eliminar nada te solicita que esté bloqueado el contenido o que de un código de error 4xx. Si se cumple esto (para que en un siguiente rastreo no se añada el contenido) se realiza un trabajo que, una vez listados los resultados de búsqueda se filtran estos contenidos que se le han indicado para que no aparezcan, aunque, se podría decir, que es “un apaño” temporal hasta la siguiente actualización del índice.

Compartir, vida personal y profesional

Compartir (del latín compartīri)
1. Repartir, dividir, distribuir algo en partes.
2. Participar en algo.

Estos últimos años mis jefes, socios y gente de mi alrededor me ha definido en ocasiones como una ONG. He de reconocer que siempre me ha gustado compartir sobretodo conocimientos, con la gente de mi alrededor. Hace unos años tuve la oportunidad de trabajar de socorrista en la playa durante todo un verano; no era un trabajo bien pagado especialmente pero la verdad es que era algo que me apetecía y que disfruté y donde aprendí mucho a nivel personal y profesional. Ha habido épocas en las que he estado trabajando gratis en algunos sitios porque me apetecía y donde aprendí cantidad.

En mi día a día la verdad es que tampoco puedo decir que no lo haga. Podría explicar una situación personal que sería el máximo de ello, ya pasado casi medio año. La verdad es que a mi, al menos, me hace sentir bien. Hace un par de días en una comida hablando del tema de compartir conocimiento estaba claro: si tú tienes conocimiento de un tema y yo sé de otro tema y a ambos nos interesa lo que el otro conoce ¿por qué no intercambiar información? Y que conste que compartir información no significa hacer las cosas gratis. Si me voy a un caso más cercano, podría hablar de las dos guías (SEO y WPO) que están disponibles en formato Creative Commons. Yo comparto esta información y, aunque pueda no parecerlo, implica una serie de elementos colaterales que acaban volviendo el esfuerzo que en su día tuve que hacer para ofrecer esta información (un ejemplo sencillo serían consultas que me llegan que acaban convirtiéndose en clientes).

Y esto que es muy bonito a nivel personal me lleva a pensar en algunas comunidades, entre ellas la del SEO y la de WPO que son totalmente opuestas en cuanto a este tema. ¿Y por qué digo esto? Porque llevo en temas de SEO más de 9 años y en temas de WPO desde hace 4 y las comunidades son totalmente opuestas. En la parte de SEO la gente se cierra en un secretismo extreño, como si alguien tuviera la fórmula maravillosa que Google utiliza. Al final todo el mundo llega y explica la conclusión a la que llegué hace más de 5 años: hay que hacer las webs bien (aquí es donde entra la definición de BIEN). No olvidemos que el SEO es algo subjetivo porque influyen elementos como la conversión, y aparecer primero en general no es síntoma de tener un buen SEO y luego tienes un 99% de tasa de rebote. Como decía, en general en los eventos de SEO y similares no se aprende gran cosa, más que confirmar teorías por algún comentario que alguien hace. Tampoco hemos de olvidar que los ingenieros de Google o Bing se basan en una serie de “fórmulas” que se basan en la “realidad”, por lo que si usas esa “realidad de os buscadores” tienes todas las papeletas de hacerlo BIEN.

En cambio la comunidad del WPO es completamente opuesta, ya que se basa en todo lo contrario, en compartir información (como decía antes, eso no significa que sea gratis o libre) pero cuando hay “quedadas” del sector la gente explica asuntos, herramientas y demás de forma completamente transparente. La gran diferencia del SEO con el WPO es que en este caso sí que es 100% ciencia y medición, porque para cualquier elemento o mejora hay cifras que lo corroboran. Una web va mejor no “porque alguien lo diga o sienta” sino porque en vez de tardar 2, tarda 1.

Que conste que no es una crítica al mundo del SEO y una adoración al del WPO, expongo mi realidad que en este caso está siendo así, y los que me conocéis un poco sabéis que en cualquier charla de SEO suelo hablar más de la cuenta y, en algunas ocasiones, me he encontrado con personas con las que poder discutir de temas porque, en este caso, no hay una verdad científica sino que el SEO son opiniones.

Supongo que una de las razones por las que me gusta dar clases, a gente que tiene interés, es por la posibilidad de compartir conocimiento. Además, siempre he pensado que en las universidades los alumnos pueden hacerte esa pregunta cabrona que te hace pensar y que te puede generar nuevas preguntas a ti mismo, eso que tu das por sentado pero que alguien te rebate. Al fin y al cabo, como decía una profa de biología del instituto… aquí a lo que venís es a quedaros con las cosas de culturilla general. Y es que hoy en día compartir experiencias es lo que nos hace crecer.