¿Qué son los meta robots en el SEO? Primer episodio de una serie de post y vídeos que organizaré en la categoría de: Guías SEO. Manuales básicos para ir profundizando.
En las cabeceras de la web, solemos poner información muy relevante para los buscadores, invisible para el usuario. Los meta robots son una etiqueta en HTML que le da una instrucción a los motores de búsquedas.
Suele ser la mejor forma de controlar el comportamiento de cada URL.
Los meta robots son un clásico del SEO técnico, una de las primeras cosas que debemos aprender cuando empiezas en este mundillo.
Es un tema muy sencillo y básico pero que tenemos que tener muy claros los conceptos si no queremos cometer errores. Directamente por tus acciones en la web o bien por cualquier modificación que hagas en cualquiera de los plugins SEO que solemos instalar en WordPress.
Como señala Fernando Maciá en su diccionario de marketing digital de su web de Human Level:
«La meta robots permite controlar la forma en que se debe indexar una página y la forma de mostrarla a los usuarios en la página de resultados de búsqueda.»
Fernando Maciá
Más claro, ni el agua.
Además, como veras, en el robots.txt bloqueamos por completo una URL, mientras que con los meta robots podemos tener una URL que sigue pasando zumo de links o popularidad, pero que decidimos que no aparezca en los índices de Google.
Sintaxis de la etiqueta
Muy sencilla: y estas son las opciones que podemos definir:
noindex, follow
<meta name="robots" content="noindex, follow"/>En este caso con el noindex le decimos a buscadores NO indexes este contenido pero puedes seguir (follow) los enlaces.
Al seguir los enlaces mantenemos la transferencia de links y zumo de popularidad asociado.
Es la solución más típica cuando quieres evitar que se indexe una URL que puede ser considerada como contenido débil (thin content) o contenido duplicado de otras secciones de tu web.
Muy habitual en los resultados de búsquedas, que genera un cambio en la URL con el término de la búsqueda. En archivos de etiquetas, autor, etc.
index, nofollow
<meta name="robots" content="index, nofollow"/>En este caso lo contrario, le decimos que puede indexar esta URL pero que NO siga los enlaces, por lo tanto no transmitirán de forma habitual su valor.
Es la combinación ideal cuando no respaldas los enlaces de una URL en concreto, imagina páginas creadas por los usuarios, por ejemplo en un foro.
noindex, nofollow
<meta name="robots" content="noindex, nofollow"/>Evitamos indexación y seguir los enlaces. Es una forma de bloqueo total de esa URL. No es muy habitual su uso.
Index, follow
Existe una cuarta etiqueta que es index, follow pero esta etiqueta no hace falta ponerla porque es el comportamiento normal, en la que se identifica una URL se siguen los enlaces y se indexa el contenido en buscadores.
No obstante, creo que es positivo marcarlo de forma explícita, algo que algunas tecnologías no hacen por defecto, como puede ser Shopify.
¿Hay diferencias entre el robots.txt y los meta robots a nivel de rastreo?
Si claro, recuerda que el robots.txt suele ser uno de los primeros archivos que revisarán los buscadores.
Si marcas un disallow a un directorio dentro de ese archivo, en principio Google no perderá tiempo rastreando ese directorio, mientras que si llega a una URL con la etiqueta noindex, si que hace un rastreo.
Además, con el robots.txt podemos definir patrones (imaginarse el bloqueo a directorios o subconjuntos de información) mientras que la etiqueta meta robots va en cada URL
¿Qué debemos tomar en cuenta de estas dos formas de controlar el rastreo y la indexación?
Si por ejemplo bloqueamos en el robots.txt un directorio, en principio Google no perderá tiempo rastreando esa sección. Pero si recibimos un enlace externo, es bastante probable que rastree e incluso indexe esa sección, ignorando por lo tanto la instrucción que le damos.
Por ello es importante dejar en los meta robots las directivas que deseamos, en una forma de controlar la indexación final que haga Google de nuestra web
Otras directivas para los meta robots
Podemos usar más elementos, algunos ejemplos:
- archive / noarchive: si queremos que se almacene o no el contenido de la web en la memoria caché interna.
- noimageindex: para no indexar las imágenes de la página,
Y algunos otros ejemplos, pero con usos menos frecuentes que pone a nuestra disposición Google en su página de ayuda para desarrolladores.
¿Cómo más podemos controlar la indexación?
Etiqueta Canonical
Como se podrán imaginar, no tiene nada que ver con la iglesia católica, ni con canonizaciones, ni con santos de ningún tipo.
En el año 2009, Google, Yahoo y Microsoft se pusieron de acuerdo y diseñaron una etiqueta que les permitiera, simplificar el problema del contenido duplicado.
Desde un punto de vista SEO las etiquetas canónical son similares al 301. Les explico:
Imaginarse que tenemos una URL:
«https://meloquitandelasmanos.com/zapatochulo/»Y se trata de una tienda online que crea una variable en la URL si cambias un atributo del producto, por ejemplo el color, entonces la URL quedaría:
«https://meloquitandelasmanos.com/zapatochulo#rojo/»O incluso, haciendo un mailing o creando una campaña de publicidad en Facebook por ejemplo, quedando la URL con las típicas etiquetas que te permiten analizar las campañas, ejemplo:
«https://meloquitandelasmanos.com/zapatochulo?utm-source=facebook-campaigns=zapatos-verano/»A efectos prácticos los buscadores pueden interpretar estas URLs como contenido duplicado porque las trata como URLs diferentes con el mismo contenido.
Para ello, solo debemos poner una etiqueta en la cabecera que indique la rel=«canonical» original y las demás variaciones, los buscadores entenderán que se trata de la misma página.
Ojo, ya saben y se los he mencionado, que a veces los buscadores pueden ser «caprichosos» así que las etiquetas canónicas son tomadas solo como una sugerencia, no como una directiva.
Si estamos en WordPress y tienes un plugin SEO, pues que sepas que puedes estar tranquilo o tranquila, ya que suelen por defecto los plugins SEO agregar la etiqueta canonical de forma automática.
Para comprobarlo, solo pulsa el botón derecho del ratón y ver código fuente de la página. Busca la siguiente etiqueta en la cabecera de tu web:
<link rel="canonical" href="https://wajari.com/" />También puedes descargar alguna de estas extensiones para el navegador. Con solo pulsar en ella, verás toda esta información:
¿Curioso? ¿interesante? Espero que así haya sido.
Este es un capítulo breve pero básico que cubre unos principios básicos de rastreo e indexación que tienen mucha relevancia en el SEO de nuestras páginas web.
Así ya saben qué significa cuando configuramos estas opciones en cualquiera de los plugins SEO. ¡Larga vida y prosperidad!
