A continuación se documentan 10 consejos para revisar que el posicionamiento web en buscadores Técnico de tú web o bien blog cumple un mínimo de requisitos para que no haya ningún género de inconveniente en que Googlebot pueda acceder a tu sitio.
Igualmente, se provee información para la crawlabilidad y también indexación de un sitio. Como se puede ver en estas diapositivas,. Mas a fin de que una web pueda ser indizada, primero debe poder ser crawleada.
Por ello, también se ofrecerán.
-
Back to top
1) La versión cacheada de Google encuentra el contenido
Ya hemos comprobado que los bots pueden acceder a la web sin inconvenientes y que los links dentro de la página web permiten producir un camino por el que los crawlers pueden acceder a la información de todas y cada una de las páginas.
Ahora tenemos que comprobar que la información que se muestra en esas páginas, puede ser procesada por los motores de búsqueda. Para esto, vamos a visualizar si la versión cacheada en el navegador de Google contiene toda la información que se provee en la página web.
Para poder realizar esta tarea, edita la URL en la barra de dirección del navegador de forma que introduzcas al comienzo de exactamente la misma la palabra cache: y pulsa Intro, como aparece en la imagen siguiente:
El resultado será algo afín a lo que aprecia en la imagen, aparecerán tres opciones en la parte superior izquierda en las podrás ver como se renderiza la web para la versión completa ( lo que ve el usuario ); la versión texto, es el contenido que puede ver el bot o bien crawler y finalmente la opción "Ver origen" que es código.
Se puede revisar que aparecen las distintas opciones:
- Versión completa - Es la versión que se puede ver en el navegador
- Versión solo texto - Al hacer click vamos a poder ver la información que el buscador ha encontrado
- Ver origen - En esta opción se verá el código fuente
2) Configuración del archivo robots.txt
Asegurate de que no hay restricciones para los bots al acceder. Eso si, se puede configurar este fichero para determinar qué bots pueden acceder y cuales no. De exactamente la misma manera, se puede determinar qué secciones de la web quieres que sean crawleadas o no.
Aquí se facilita la documentación oficial de Google para la creación de un fichero robots.txt y la configuración del mismo.
Mediante la herramienta Search Console, se pueden comprobar qué elementos están bloqueados y los diferentes fallos que pueden aparecer en relación a la configuración del archivo robots.txt
Para poder estar seguros de que no aparecen errores en los puntos que hemos comentado, mediante Search Console se pueden comprobar:
-
2.1) Asegurate de que no hay recursos bloqueados a los bots
-
2.2) El archivo robots.txt no presenta errores
3) Comprueba que lo que ve el usuario en el navegador es lo que ve Googlebot
En en caso de que al examinar la versión cacheada la información que ven los bots no sea la misma que se muestra en el navegador, esto es la que el usuario pueder ver, puede que sea debido a una error de crawleo, como se puede revisar en la imagen siguiente:
Al ejecutar Rastrear como Google, vemos que en la parte izquierda el mensaje "Así es como Googlebot ha visto la página" difiere de la parte derecha "Así es como un visitante del sitio habría visto la página". Esto es debido a que hay elementos bloqueados que éstán impidiendo el acceso total a ficheros CSS y JS y cuyos mensajes nos señalan los fallos de configuración en el archivo robots.txt.
4) Asegurate que los archivos CSS, JS y también imágenes no están bloqueados por robots
En este artículo de Mozse documenta la necesidad de configurar el fichero robots.txt para permitir el acceso a archivo CSS y JS.
Para estar completamente seguro de que están desbloqueandos todos los ficheros JavaScript y CSS, se puede añadir al fichero robots.txt, las siguientes líneas de código:
User-Agent: Googlebot
Allow: *.js
Allow: *.css
Si en el fichero robots.txt se están bloqueando directorios completos, puede ser un poco más complicado.En estos casos, también es preciso permitir el acceso a los bots de Google para cada uno de los directorios que ha bloqueado.
Por ejemplo:User-Agent: Googlebot
Disallow: /modulos/
Allow: /modulos/*.js
Allow: /modulos/*.css
Igualmente Matt Cutts lo explica en este vídeo:
5) Enlaces rotos o fallos de crawlabilidad
Lo primero es el crawleo, por ello se debe revisar que no hay limitaciones para que los bots puedan acceder a la información.
Esto supone que una vez se les ha facilitado la vía de entrada, hay que asegurarse que los enlaces internos que existen en el contenido o bien en las distintas secciones de la web, no tienen fallos, o sea, las arañas de Google y el resto de buscadores web pueden proseguirse rastreando el resto de páginas.
Una herramienta con la que puedes comprobar que no hay enlaces rotos en tú web es
Para poder valorar los diferentes inconvenientes de crawlabilidad que puedan estar ocurriendo, mediante la herramienta Search Console podemos acceder a la sección Rastreo>>Errores de rastreo
Algunos de los fallos más comunes son:
-
5.1) Errores de Servidor - Fallo 500 o 503
-
5.2) Acceso rechazado ( Comprobar el archivo robots.txt ) - Código de respuesta 403
-
5.3) Errores cuatrocientos cuatro ( urls no se hallan )
Aquí puedes disponer del listado de contestaciones HTTP de servidor y qué significa cada uno de ellos de ellas:
6) Comprobar que el renderizado del HTML es correcto
Lo realmente esencial en un caso así es que en la versión cacheada de Google, en concreto en "Versión solo texto", el buscador haya podido hallar todo el contenido o la información por la que nos interesa posicionar.
En caso contrario, sería recomendable comprobar por qué la información no se renderiza corréctamente. Puede ser por que la implementación esté hecha con AJAX, la página web esté hecha con un Framework en Javascript que preprocesa el renderizado del HTML o bien cualquier otra incidencia técnica.
Dicho esto, pasamos a valorar la próxima mejora técnica que se tendría que tener en cuenta.
¿Cómo hacemos esto?, a través de Search Console se puede ejecutar "Explorar como Google". Escoger una página de tú web, y una vez se ha llevado a cabo la tarea verifica que la respuesta HTTP de descarga es correcta.
En el caso de que aparezca cualquier error, por ejemplo, la contestación HTTP no sea doscientos OK, muestre un mensaje de que la URL está bloqueada, la URL no se halla, etcétera entonces de nuevo sería preciso comunicar con el equipo técnico para solucionar este inconveniente, así sea por configuración de robots.txt, error de servidor, etc.
7) Validar los datos estructurados o bien schema
En este caso se facilita el link a la herramienta para poder validar la implementación de los Rich Snippets, ya sea en el markup ( mediante código HTML en el template) o bien a través de JSON, es buena práctica comprobar que la implementación de los datos estructurados es correcta.
Schema.org es un vocabulario específico de etiquetas (o microdatos) que se pueden agregar a su HTML para la forma en que su página es entendida por los motores de búsqueda.
Schema.org es el resultado de la colaboración entre Google, Bing, Yandex, y Yahoo! para asistir a administrar la información de sus motores de búsqueda mediante un lenguaje estándar que deje entender el contenido por la parte de las máquinas y ofrecer los mejores resultados posibles de búsqueda.
Implementar Rich Snippets en código HTML mejora la forma en que su página pueda ser mostrada en las Search Engines Ranking Positions mediante la mejora de los fragmentos enriquecidos que se muestran bajo el título de la página.
es el sitio oficial donde podrá localizar las últimas actualizaciones, una guía para la implementación de esquemas y preguntas frecuentes.
8) Configurar URL's con parámetros en Search Console
Normalmente, las URLs con parámetros se generan en páginas webs que ofrecen diferentes opciones de clasificación como Ordenar = relevancia, tipo = ascendente, paginación y así consecutivamente, que también se debe tener en cuenta como parámetros de URL.
Por lo general, todo depende de la configuración del sitio, la arquitectura y la tecnología que se utilice para mostrar u ordenar la información.
Una buena práctica SEO es la generación de URL-friendly, cuya URL no contiene parámetros dinámicos y contiene las keywords por las que se quiere posicionar.
A continuación veremos como administrar la crawlabilidad de las URL's con parámetros a través de Search Console.
La administración de parámetros es una opción útil para asistir a la indexación, merece la pena desde la perspectiva de aumento de tráfico orgánico y desindexación de páginas que se se indexan en los motores de búsqueda mas no aportan valor a la captación de nuevos usuarios en los motores de búsqueda, un caso de URL con parámetros es: /?utm_campaign=coschedule&utm_source=twitter&utm_medium=.
Al hacer click en Editar,en la opción del parámetro que se quiera configurar, aparecerá una interfaz donde se podrá determinar qué se quiere hacer con las URLs que contengan dicho parámetro.
El objetivo es minimizar el número de URL's con parámetros indizadas, de forma que sea más fácilmente rastreable por Google, lo que aumentará la frecuencia de rastreo de su sitio, y también tendrán un costo menor en el ancho de banda necesario para crawlear la información.
Mi recomendación sería, comprobar qué URLs con parámetros tiene indizados Google de su sitio y además que parámetros ha detectado en Search Console.
Una vez identificadas las URL's con parámetros indizadas que no traigan tráfico orgánico, desindexar las mismas. En paralelo, condigurar las URL's con parámetros para la crawlabilidad de indexabilidad.
9) Deshabilita CSS y verifica la información en la pagina es exactamente la misma para Googlebot y para el usuario
En este caso no nos referimos a que haya información que se carga en el navegador, pero que los usuarios no ven.
Nos referimos a que la información que se carga en el DOM, tiene que ser exactamente la misma que los crawlers procesan, esto es, que no se esté cargando ninguna información extra en la plantilla de forma que se repita en secciones de la web donde no es útil.
Para poder hacer esta comprobación es necesario tener instalado, así sea en Firefox o bien Chrome la extensión "". Una vez se instale, ir a la sección: CSS>>Disable all styles
El objetivo es encontrar aquellas imágenes, textos o contenidos que se cargan al hacer la petición HTTP de la página, es decir al cargar la misma, mas cuya información no se ve en el navegador por el usuario.
Estos fallos acostumbran a ser comunes en CMS o bien plataformas que usan un sistema de plantillas, de manera que se cargan en todas y cada una de las páginas, pero que no aportan valor al contenido, consumen recursos y no los bots lo pueden interpretar como.
Igualmente pueden estar presentes en webs que estén desarrolladas con implementaciones AJAX, de forma que la información se cargue mas esté oculta y que se muestre cuando se ejecuta un acontecimiento en Javascript. Una vez el usuario interactua con la web y hace clic, scroll o cualquiera otra interactuación, la información será mostrada u ocultada.
En estos casos, es necesarioy revisar la información cacheada por Google.
10) Actualización del Sitemap XML vs Sitemap HTML vs RSS
Seguro que esta cuestión levanta un tanto de polémica, como puedes revisar en la imagen, el Sitemap XML en la página web de Brandemia lleva sin actualizarse más de un año y sigue aumentando el tráfico orgánico, como puedes ver aquí:
La vía alternativa para la crawlabilidad e indexación de la web ha sido esta:
Es una buena práctica la actualización del fichero Sitemap XML y hacer ping en Search Console en caso de que no exista otra opción alternativa, como puede ser un Sitemap HTML.
Cada SEO aplica los cambios que considera que serán mejores basándonos en las características del CMS, el control que tenga sobre la parte técnica o bien las limitaciones que haya por parte del cliente a la hora de incorporar las diferentes opciones para el posiciconamiento en buscadores web.
Back to top11) La versión cacheada de Google encuentra el contenido
Ya hemos comprobado que los bots pueden acceder a la página web sin problemas y que los enlaces dentro de la página web dejan producir un camino por el que los crawlers pueden acceder a la información de todas las páginas.
Ahora tenemos que revisar que la información que se muestra en esas páginas, puede ser procesada por los motores de búsqueda. Para esto, vamos a visualizar si la versión cacheada en el navegador de Google contiene toda la información que se provee en la página web.
Para poder llevar a cabo esta labor, edita la URL en la barra de dirección del navegador de forma que introduzcas al comienzo de exactamente la misma la palabra cache: y pulsa Intro, como aparece en la imagen siguiente:
El resultado será algo afín a lo que aprecia en la imagen, aparecerán tres opciones en la parte superior izquierda en las podrás ver como se renderiza la web para la versión completa ( lo que ve el usuario ); la versión texto, es el contenido que puede ver el bot o crawler y por último la opción "Ver origen" que es código.
Se puede comprobar que aparecen las distintas opciones:
- Versión completa - Es la versión que se puede ver en el navegador
- Versión solo texto - Al hacer clic vamos a poder ver la información que el buscador ha encontrado
- Ver origen - En esta opción se verá el código fuente
12) Configuración del fichero robots.txt
Asegurate de que no hay limitaciones para los bots al acceder. Eso si, se puede configurar este archivo para determinar qué bots pueden acceder y cuales no. De igual manera, se puede determinar qué secciones de la página web deseas que sean crawleadas o no.
Aquí se facilita la documentación oficial de Google para la creación de un fichero robots.txt y la configuración del mismo.
Mediante la herramienta Search Console, se pueden comprobar qué elementos están bloqueados y los diferentes fallos que pueden aparecer en relación a la configuración del archivo robots.txt
Para poder estar seguros de que no aparecen errores en los puntos que hemos comentado, a través de Search Console se pueden comprobar:
-
12.1) Asegurate de que no hay recursos bloqueados a los bots
-
12.2) El archivo robots.txt no presenta errores
12.3) Asegurate de que no hay recursos bloqueados a los bots
12.4) El archivo robots.txt no presenta errores
Back to top13) Comprueba que lo que ve el usuario en el navegador es lo que ve Googlebot
En en caso de que al examinar la versión cacheada la información que ven los bots no sea exactamente la misma que se muestra en el navegador, es decir la que el usuario pueder ver, es posible que sea debido a una error de crawleo, como se puede revisar en la imagen siguiente:
Al ejecutar Rastrear como Google, vemos que en la parte izquierda el mensaje "Así es como Googlebot ha visto la página" difiere de la parte derecha "Así es como un visitante del sitio web habría visto la página". Esto es debido a que hay elementos bloqueados que éstán impidiendo el acceso total a archivos CSS y JS y cuyos mensajes nos señalan los fallos de configuración en el fichero robots.txt.
Back to top14) Asegurate que los archivos CSS, JS e imágenes no están bloqueados por robots
En este artículo de Mozse documenta la necesidad de configurar el fichero robots.txt para permitir el acceso a fichero CSS y JS.
Para estar completamente seguro de que están desbloqueandos todos los archivos JavaScript y CSS, se puede añadir al fichero robots.txt, las siguientes líneas de código:
User-Agent: Googlebot
Allow: *.js
Allow: *.css
Si en el fichero robots.txt se están bloqueando directorios completos, puede ser un poco más complicado.En estos casos, también es necesario permitir el acceso a los bots de Google para cada uno de los directorios que ha bloqueado.
Igualmente Matt Cutts lo explica en este vídeo:
Back to top15) Enlaces rotos o errores de crawlabilidad
Lo primero es el crawleo, por ello se tiene que comprobar que no hay restricciones a fin de que los bots puedan acceder a la información.
Esto supone que una vez se les ha facilitado la vía de entrada, hay que asegurarse que los enlaces internos que existen en el contenido o bien en las diferentes secciones de la página web, no tienen errores, o sea, las arañas de Google y el resto de motores de búsqueda pueden continuar rastreando el resto de páginas.
Una herramienta con la que puedes comprobar que no hay enlaces rotos dentro de tú web es
Para poder evaluar los diferentes inconvenientes de crawlabilidad que puedan estar ocurriendo, a través de la herramienta Search Console podemos acceder a la sección Rastreo>>Errores de rastreo
Algunos de los fallos más comunes son:
-
15.1) Errores de Servidor - Fallo quinientos o 503
-
15.2) Acceso denegado ( Comprobar el fichero robots.txt ) - Código de contestación 403
-
15.3) Errores 404 ( urls no se hallan )
15.4) Errores de Servidor - Fallo 500 o 503
15.5) Acceso denegado ( Comprobar el fichero robots.txt ) - Código de respuesta 403
15.6) Errores 404 ( urls no se encuentran )
Aquí puedes contar con del listado de respuestas HTTP de servidor y qué significa cada uno de ellos de ellas:
Back to top16) Comprobar que el renderizado del HTML es correcto
Lo realmente esencial en este caso es que en la versión cacheada de Google, específicamente en "Versión solo texto", el buscador haya podido localizar todo el contenido o bien la información por la que nos resulta de interés posicionar.
En caso contrario, sería recomendable revisar por qué la información no se renderiza corréctamente. Puede ser por que la implementación esté hecha con AJAX, la página web esté hecha con un Framework en Javascript que preprocesa el renderizado del HTML o cualquier otra incidencia técnica.
Dicho esto, pasamos a evaluar la próxima mejora técnica que se tendría que tener en cuenta.
¿Cómo hacemos esto?, mediante Search Console se puede ejecutar "Explorar como Google". Escoger una página de tú web, y una vez se ha llevado a cabo la labor verifica que la respuesta HTTP de descarga es correcta.
En el caso de que aparezca cualquier error, por servirnos de un ejemplo, la respuesta HTTP no sea 200 OK, muestre un mensaje de que la URL está bloqueada, la URL no se encuentra, etcétera entonces de nuevo sería necesario comunicar con el equipo técnico para solucionar este inconveniente, ya sea por configuración de robots.txt, error de servidor, etc.
Back to top17) Validar los datos estructurados o schema
En este caso se facilita el enlace a la herramienta para poder validar la implementación de los Rich Snippets, ya sea en el markup ( a través de código HTML en el template) o bien mediante JSON, es buena práctica revisar que la implementación de los datos estructurados es adecuada.
Schema.org es un vocabulario específico de etiquetas (o bien microdatos) que se pueden agregar a su HTML para la manera en que su página es entendida por los motores de búsqueda.
Schema.org es el resultado de la colaboración entre Google, Bing, Yandex, y Yahoo! para asistir a administrar la información de sus motores de búsqueda mediante un lenguaje estándar que deje comprender el contenido por parte de las máquinas y ofrecer los mejores resultados posibles de búsqueda.
Implementar Rich Snippets en código HTML mejora la manera en que su página pueda ser mostrada en las Search Engines Ranking Positions a través de la mejora de los fragmentos enriquecidos que se muestran debajo del título de la página.
es el lugar oficial donde podrá encontrar las últimas actualizaciones, una guía para la implementación de esquemas y preguntas usuales.
Back to top18) Configurar URL's con parámetros en Search Console
Normalmente, las URLs con parámetros se generan en páginas webs que ofrecen diversas opciones de clasificación como Ordenar = relevancia, tipo = ascendente, paginación y así consecutivamente, que también se debe tener en cuenta como parámetros de URL.
Por lo general, todo depende de la configuración del sitio, la arquitectura y la tecnología que se utilice para mostrar u ordenar la información.
Una buena práctica SEO es la generación de URL-friendly, cuya URL no contiene parámetros dinámicos y contiene las keywords por las que se quiere posicionar.
A continuación vamos a ver como administrar la crawlabilidad de las URL's con parámetros a través de Search Console.
La administración de parámetros es una opción útil para ayudar a la indexación, vale la pena desde la perspectiva de incremento de tráfico orgánico y desindexación de páginas que se se indexan en los motores de búsqueda pero no aportan valor a la captación de nuevos usuarios en los motores de búsqueda, un ejemplo de URL con parámetros es: /?utm_campaign=coschedule&utm_source=twitter&utm_medium=.
Al hacer click en Editar,en la opción del parámetro que se quiera configurar, aparecerá una interfaz donde se podrá determinar qué se quiere hacer con las URLs que contengan dicho parámetro.
El objetivo es disminuir al mínimo el número de URL's con parámetros indexadas, de manera que sea más fácilmente rastreable por Google, lo que aumentará la frecuencia de rastreo de su sitio, y también tendrán un costo menor en el ancho de banda preciso para crawlear la información.
Mi recomendación sería, revisar qué URLs con parámetros tiene indexados Google de su sitio web y además que parámetros ha detectado en Search Console.
Una vez identificadas las URL's con parámetros indexadas que no traigan tráfico orgánico, desindexar exactamente las mismas. En paralelo, condigurar las URL's con parámetros para la crawlabilidad de indexabilidad.
Back to top19) Deshabilita CSS y comprueba la información en la pagina es la misma para Googlebot y para el usuario
En este caso no nos referimos a que haya información que se carga en el navegador, pero que los usuarios no ven.
Nos referimos a que la información que se carga en el DOM, tiene que ser la misma que los crawlers procesan, o sea, que no se esté cargando ninguna información extra en la plantilla de manera que se repita en secciones de la web donde no es útil.
Para poder hacer esta comprobación es preciso tener instalado, ya sea en Mozilla Firefox o bien Google Chrome la extensión "". Una vez se instale, ir a la sección: CSS>>Disable all styles
El objetivo es hallar aquellas imágenes, textos o bien contenidos que se cargan al hacer la petición HTTP de la página, esto es al cargar la misma, mas cuya información no se ve en el navegador por el usuario.
Estos fallos acostumbran a ser comunes en Content Management System o bien plataformas que utilizan un sistema de plantillas, de manera que se cargan en todas y cada una de las páginas, mas que no aportan valor al contenido, consumen recursos y no los bots lo pueden interpretar como.
Igualmente pueden estar presentes en webs que estén desarrolladas con implementaciones AJAX, de forma que la información se cargue mas esté oculta y que se muestre cuando se ejecuta un acontecimiento en Javascript. Una vez el usuario interactua con la web y hace click, scroll o bien cualquiera otra interactuación, la información será mostrada u escondida.
En estos casos, es necesarioy revisar la información cacheada por Google.
Back to top20) Actualización del Sitemap XML vs Sitemap HTML vs RSS
Seguro que esta cuestión levanta un tanto de controversia, como puedes revisar en la imagen, el Sitemap XML en la página web de Brandemia lleva sin actualizarse más de un año y sigue incrementando el tráfico orgánico, como puedes ver aquí:
La vía opción alternativa para la crawlabilidad e indexación de la página web ha sido esta:
Es una buena práctica la actualización del fichero Sitemap XML y hacer ping en Search Console caso de que no exista otra alternativa, como puede ser un Sitemap HTML.
Cada SEO aplica los cambios que considera que serán mejores basándonos en las características del CMS, el control que tenga sobre la parte técnica o bien las limitaciones que haya por la parte del usuario en el momento de incorporar las distintas opciones para el posiciconamiento en motores de búsqueda.
La implementación de un Sitemap que permita progresar desde el SEO Técnico la crawlabilidad e indexabilidad de cualquier sitio es un factor fundamental en el momento de hacer una estrategia o bien una campaña de search.
Independientemente de como sea la opción escogida se recomienda como una buena práctica para progresar el posicionamiento web en buscadores la implementación de cualquiera de las alternativas presentadas para poder conseguir mejores resultados en las búsquedas y así lograr que nuestros proyectos consigan una mejor visibilidad en los diferentes buscadores.
Back to top
