A continuación se documentan 10 consejos para revisar que el SEO Técnico de tú web o bien blog cumple un mínimo de requisitos a fin de que no haya ningún tipo de problema en que Googlebot pueda acceder a tu sitio.
Igualmente, se provee información para la crawlabilidad y también indexación de un sitio web. Como se puede ver en estas diapositivas, . Pero a fin de que una web pueda ser indizada, primero debe poder ser crawleada.
Por ello, asimismo se van a ofrecer .
-
Back to top
1) La versión cacheada de Google halla el contenido
Ya hemos comprobado que los bots pueden acceder a la web sin problemas y que los links dentro de la web permiten producir un camino por el cual los crawlers pueden acceder a la información de todas y cada una de las páginas.
Ahora tenemos que comprobar que la información que se muestra en esas páginas, puede ser procesada por los buscadores. Para esto, vamos a visualizar si la versión cacheada en el navegador de Google contiene toda la información que se provee en la página web.
Para poder llevar a cabo esta labor, edita la URL en la barra de dirección del navegador de forma que introduzcas al inicio de la misma la palabra cache: y pulsa Intro, como aparece en la imagen siguiente:
El resultado va a ser algo afín a lo que aprecia en la imagen, aparecerán tres opciones en la parte superior izquierda en las podrás ver como se renderiza la web para la versión completa ( lo que ve el usuario ); la versión texto, es el contenido que puede ver el bot o crawler y finalmente la opción "Ver origen" que es código.
Se puede revisar que aparecen las distintas opciones:
- Versión completa - Es la versión que se puede ver en el navegador
- Versión solo texto - Al hacer clic podremos ver la información que el buscador ha encontrado
- Ver origen - En esta opción se va a ver el código fuente
2) Configuración del fichero robots.txt
Asegurate de que no hay limitaciones para los bots al acceder. Eso si, se puede configurar este fichero para determinar qué bots pueden acceder y cuales no. De exactamente la misma forma, se puede determinar qué secciones de la página web deseas que sean crawleadas o bien no.
Aquí se facilita la documentación oficial de Google para la creación de un fichero robots.txt y la configuración del mismo.
Mediante la herramienta Search Console, se pueden revisar qué elementos están bloqueados y los diferentes errores que pueden aparecer en relación a la configuración del fichero robots.txt
Para poder estar seguros de que no aparecen fallos en los puntos que hemos comentado, a través de Search Console se pueden comprobar:
-
2.1) Asegurate de que no hay recursos bloqueados a los bots
-
2.2) El fichero robots.txt no presenta errores
3) Comprueba que lo que ve el usuario en el navegador es lo que ve Googlebot
En en el caso de que al examinar la versión cacheada la información que ven los bots no sea exactamente la misma que se muestra en el navegador, o sea la que el usuario pueder ver, es posible que sea debido a una fallo de crawleo, como se puede comprobar en la imagen siguiente:
Al ejecutar Rastrear como Google, vemos que en la parte izquierda el mensaje "Es de esta forma como Googlebot ha visto la página" difiere de la parte derecha "Así es como un visitante del sitio web habría visto la página". Esto es debido a que hay elementos bloqueados que éstán impidiendo el acceso total a archivos CSS y JS y cuyos mensajes nos señalan los fallos de configuración en el fichero robots.txt.
4) Asegurate que los archivos CSS, JS e imágenes no están bloqueados por robots
En este artículo de Moz se documenta la necesidad de configurar el archivo robots.txt para permitir el acceso a archivo CSS y JS.
Para estar absolutamente seguro de que están desbloqueandos todos los ficheros JavaScript y CSS, se puede añadir al fichero robots.txt, las próximas líneas de código:
Usuario-Agent: Googlebot
Allow: *.js
Allow: *.css
Si en el archivo robots.txt se están bloqueando directorios completos, puede ser un tanto más complicado.En estos casos, asimismo es preciso permitir el acceso a los bots de Google para cada uno de ellos de los directorios que ha bloqueado.
Por ejemplo:User-Agent: Googlebot
Disallow: /modulos/
Allow: /modulos/*.js
Allow: /modulos/*.css
Igualmente Matt Cutts lo explica en este vídeo:
5) Enlaces rotos o fallos de crawlabilidad
Lo primero es el crawleo, por ello se tiene que revisar que no hay limitaciones a fin de que los bots puedan acceder a la información.
Esto supone que una vez se les ha facilitado la vía de entrada, hay que asegurarse que los links internos que existen en el contenido o en las diferentes secciones de la web, no tienen fallos, esto es, las arañas de Google y el resto de buscadores web pueden continuar rastreando el resto de páginas.
Una herramienta con la que puedes comprobar que no hay enlaces rotos dentro de tú web es
Para poder valorar los diferentes problemas de crawlabilidad que puedan estar ocurriendo, a través de la herramienta Search Console podemos acceder a la sección Rastreo >> Errores de rastreo
Algunos de los errores más habituales son:
-
5.1) Errores de Servidor - Error quinientos o bien 503
-
5.2) Acceso rechazado ( Revisar el archivo robots.txt ) - Código de respuesta 403
-
5.3) Errores 404 ( urls no se hallan )
Aquí puedes contar con del listado de contestaciones HTTP de servidor y qué es lo que significa cada uno de ellas:
6) Comprobar que el renderizado del HTML es correcto
Lo verdaderamente importante en este caso es que en la versión cacheada de Google, específicamente en "Versión solo texto", el buscador haya podido localizar todo el contenido o la información por la que nos resulta de interés posicionar.
En caso contrario, sería aconsejable comprobar por qué razón la información no se renderiza corréctamente. Puede ser por que la implementación esté hecha con AJAX, la página web esté hecha con un Framework en Javascript que preprocesa el renderizado del HTML o bien cualquier otra incidencia técnica.
Dicho esto, pasamos a valorar la próxima mejora técnica que se debería tomar en consideración.
¿De qué forma hacemos esto?, a través de Search Console se puede ejecutar "Explorar como Google". Elegir una página de tú web, y una vez se ha llevado a cabo la tarea verifica que la contestación HTTP de descarga es adecuada.
En el caso de que aparezca cualquier fallo, por ejemplo, la contestación HTTP no sea 200 OK, muestre un mensaje de que la URL está bloqueada, la URL no se halla, etcétera entonces de nuevo sería preciso comunicar con el equipo técnico para solventar este inconveniente, ya sea por configuración de robots.txt, fallo de servidor, etc.
7) Validar los datos estructurados o schema
En este caso se facilita el link a la herramienta para poder validar la implementación de los Rich Snippets, ya sea en el markup ( a través de código HTML en el template) o bien mediante JSON, es una buena práctica revisar que la implementación de los datos estructurados es correcta.
Schema.org es un vocabulario concreto de etiquetas (o microdatos) que se pueden agregar a su HTML para la manera en que su página es entendida por los buscadores.
Schema.org es el resultado de la cooperación entre Google, Bing, Yandex, y Yahoo! para ayudar a proporcionar la información de sus buscadores a través de un lenguaje estándar que permita comprender el contenido por la parte de las máquinas y ofrecer los mejores resultados posibles de búsqueda.
Incorporar Rich Snippets en código HTML mejora la manera en que su página pueda ser mostrada en las Search Engines Ranking Positions mediante la mejora de los fragmentos enriquecidos que se muestran bajo el título de la página.
es el lugar oficial donde podrá localizar las últimas actualizaciones, una guía para la implementación de esquemas y preguntas usuales.
8) Configurar URL's con factores en Search Console
Normalmente, las URLs con parámetros se generan en páginas webs que ofrecen diversas opciones de clasificación como Ordenar = relevancia, tipo = ascendente, paginación y de esta forma consecutivamente, que asimismo se debe tener en cuenta como parámetros de URL.
Por lo general, todo depende de la configuración del sitio, la arquitectura y la tecnología que se utilice para mostrar u ordenar la información.
Una buena práctica posicionamiento en buscadores es la generación de URL-friendly, cuya URL no contiene factores activos y contiene las keywords por las que se quiere posicionar.
A continuación veremos como gestionar la crawlabilidad de las URL's con factores a través de Search Console.
La administración de parámetros es una alternativa útil para ayudar a la indexación, merece la pena desde el punto de vista de aumento de tráfico orgánico y desindexación de páginas que se se indexan en los buscadores pero no aportan valor a la captación de nuevos usuarios en los buscadores web, un caso de URL con parámetros es: www.domino.com/?utm_campaign=coschedule&utm_source=twitter&utm_medium=.
Al hacer clic en Editar,en la opción del parámetro que se quiera configurar, aparecerá una interfaz donde se va a poder determinar qué se quiere hacer con las URLs que contengan dicho parámetro.
El objetivo es minimizar el número de URL's con parámetros indexadas, de manera que sea más fácilmente rastreable por Google, lo que aumentará la frecuencia de rastreo de su sitio, y asimismo van a tener un costo menor en el ancho de banda preciso para crawlear la información.
Mi recomendación sería, revisar qué URLs con parámetros tiene indizados Google de su sitio web y además que factores ha detectado en Search Console.
Una vez identificadas las URL's con parámetros indexadas que no traigan tráfico desde buscadores, desindexar las mismas. En paralelo, condigurar las URL's con factores para la crawlabilidad de indexabilidad.
9) Deshabilita CSS y comprueba la información en la pagina es la misma para Googlebot y para el usuario
En este caso no nos referimos a que haya información que se carga en el navegador, mas que los usuarios no ven.
Nos referimos a que la información que se carga en el DOM, tiene que ser la misma que los crawlers procesan, esto es, que no se esté cargando ninguna información extra en la plantilla de manera que se repita en secciones de la web donde no es útil.
Para poder hacer esta comprobación es preciso tener instalado, así sea en Mozilla Firefox o Google Chrome la extensión "". Una vez se instale, ir a la sección: CSS >> Disable all styles
El objetivo es encontrar aquellas imágenes, textos o contenidos que se cargan al hacer la petición HTTP de la página, es decir al cargar exactamente la misma, mas cuya información no se ve en el navegador por el usuario.
Estos fallos acostumbran a ser comunes en CMS o plataformas que utilizan un sistema de plantillas, de manera que se cargan en todas las páginas, pero que no aportan valor al contenido, consumen recursos y no los bots lo pueden interpretar como .
Igualmente pueden estar presentes en webs que estén desarrolladas con implementaciones AJAX, de forma que la información se cargue mas esté oculta y que se muestre cuando se ejecuta un acontecimiento en Javascript. Una vez el usuario interactua con la página web y hace click, scroll o cualquiera otra interactuación, la información va a ser mostrada o bien escondida.
En estos casos, es necesario y revisar la información cacheada por Google.
10) Actualización del Sitemap XML vs Sitemap HTML vs RSS
Seguro que esta cuestión levanta un poco de controversia, como puedes revisar en la imagen, el Sitemap XML en la web de Brandemia lleva sin actualizarse más de un año y sigue aumentando el tráfico desde buscadores, como puedes ver aquí:
La vía alternativa para la crawlabilidad y también indexación de la web ha sido esta:
Es una buena práctica la actualización del archivo Sitemap XML y hacer ping en Search Console en caso de que no exista otra opción alternativa, como puede ser un Sitemap HTML.
Cada posicionamiento web en buscadores aplica los cambios que considera que serán mejores en base a las características del CMS, el control que tenga sobre la parte técnica o bien las limitaciones que haya por parte del usuario en el momento de incorporar las distintas opciones para el posiciconamiento en buscadores.
Back to top11) La versión cacheada de Google halla el contenido
Ya hemos comprobado que los bots pueden acceder a la página web sin inconvenientes y que los links dentro de la página web permiten generar un camino por el cual los crawlers pueden acceder a la información de todas y cada una de las páginas.
Ahora debemos revisar que la información que se muestra en esas páginas, puede ser procesada por los motores de búsqueda. Para ello, vamos a visualizar si la versión cacheada en el navegador de Google contiene toda la información que se provee en la web.
Para poder realizar esta labor, edita la URL en la barra de dirección del navegador de forma que introduzcas al comienzo de la misma la palabra cache: y pulsa Intro, como aparece en la imagen siguiente:
El resultado va a ser algo afín a lo que aprecia en la imagen, aparecerán tres opciones en la parte superior izquierda en las vas a poder ver como se renderiza la web para la versión completa ( lo que ve el usuario ); la versión texto, es el contenido que puede ver el bot o bien crawler y finalmente la opción "Ver origen" que es código.
Se puede comprobar que aparecen las diferentes opciones:
- Versión completa - Es la versión que se puede ver en el navegador
- Versión solo texto - Al hacer clic vamos a poder ver la información que el buscador ha encontrado
- Ver origen - En esta opción se verá el código fuente
12) Configuración del fichero robots.txt
Asegurate de que no hay restricciones para los bots al acceder. Eso si, se puede configurar este fichero para determinar qué bots pueden acceder y cuales no. De exactamente la misma manera, se puede determinar qué secciones de la página web deseas que sean crawleadas o no.
Aquí se facilita la documentación oficial de Google para la creación de un archivo robots.txt y la configuración del mismo.
Mediante la herramienta Search Console, se pueden comprobar qué elementos están bloqueados y los diferentes errores que pueden aparecer con relación a la configuración del archivo robots.txt
Para poder estar seguros de que no aparecen errores en los puntos que hemos comentado, mediante Search Console se pueden comprobar:
-
12.1) Asegurate de que no hay recursos bloqueados a los bots
-
12.2) El fichero robots.txt no presenta errores
12.3) Asegurate de que no hay recursos bloqueados a los bots
12.4) El fichero robots.txt no presenta errores
Back to top13) Comprueba que lo que ve el usuario en el navegador es lo que ve Googlebot
En en caso de que al examinar la versión cacheada la información que ven los bots no sea exactamente la misma que se muestra en el navegador, es decir la que el usuario pueder ver, puede que sea debido a una error de crawleo, como se puede comprobar en la imagen siguiente:
Al ejecutar Rastrear como Google, vemos que en la parte izquierda el mensaje "Así es como Googlebot ha visto la página" difiere de la parte derecha "Así es como un visitante del sitio web habría visto la página". Esto se debe a que hay elementos bloqueados que éstán impidiendo el acceso total a archivos CSS y JS y cuyos mensajes nos indican los errores de configuración en el archivo robots.txt.
Back to top14) Asegurate que los ficheros CSS, JS y también imágenes no están bloqueados por robots
En este artículo de Moz se documenta la necesidad de configurar el fichero robots.txt para permitir el acceso a archivo CSS y JS.
Para estar completamente seguro de que están desbloqueandos todos los ficheros JavaScript y CSS, se puede agregar al archivo robots.txt, las próximas líneas de código:
Usuario-Agent: Googlebot
Allow: *.js
Allow: *.css
Si en el fichero robots.txt se están bloqueando directorios completos, puede ser un tanto más difícil.En estos casos, también es preciso permitir el acceso a los bots de Google para cada uno de ellos de los directorios que ha bloqueado.
Del mismo modo Matt Cutts lo explica en este vídeo:
Back to top15) Enlaces rotos o errores de crawlabilidad
Lo primero es el crawleo, por ello se tiene que revisar que no hay limitaciones a fin de que los bots puedan acceder a la información.
Esto supone que una vez se les ha facilitado la vía de entrada, hay que asegurarse que los enlaces internos que existen en el contenido o en las distintas secciones de la página web, no tienen errores, o sea, las arañas de Google y el resto de motores de búsqueda pueden seguir rastreando el resto de páginas.
Una herramienta con la que puedes revisar que no hay links rotos dentro de tú web es
Para poder evaluar los diferentes problemas de crawlabilidad que puedan estar ocurriendo, a través de la herramienta Search Console podemos acceder a la sección Rastreo >> Fallos de rastreo
Algunos de los fallos más frecuentes son:
-
15.1) Errores de Servidor - Error quinientos o 503
-
15.2) Acceso denegado ( Comprobar el archivo robots.txt ) - Código de respuesta 403
-
15.3) Errores cuatrocientos cuatro ( urls no se encuentran )
15.4) Errores de Servidor - Error quinientos o 503
15.5) Acceso rechazado ( Revisar el archivo robots.txt ) - Código de contestación 403
15.6) Errores 404 ( urls no se encuentran )
Aquí puedes disponer del listado de contestaciones HTTP de servidor y qué es lo que significa cada uno de ellos de ellas:
Back to top16) Comprobar que el renderizado del HTML es correcto
Lo realmente importante en este caso es que en la versión cacheada de Google, concretamente en "Versión solo texto", el buscador haya podido encontrar todo el contenido o bien la información por la que nos interesa posicionar.
En caso contrario, sería aconsejable revisar por qué la información no se renderiza corréctamente. Puede ser por que la implementación esté hecha con AJAX, la web esté hecha con un Framework en Javascript que preprocesa el renderizado del HTML o cualquier otra incidencia técnica.
Dicho esto, pasamos a evaluar la próxima mejora técnica que se debería tener en cuenta.
¿De qué forma hacemos esto?, a través de Search Console se puede ejecutar "Explorar como Google". Escoger una página de tú web, y una vez se ha llevado a cabo la tarea verifica que la respuesta HTTP de descarga es correcta.
En el en caso de que aparezca cualquier fallo, por ejemplo, la contestación HTTP no sea 200 OK, muestre un mensaje de que la URL está bloqueada, la URL no se encuentra, etcétera entonces nuevamente sería preciso comunicar con el equipo técnico para solucionar este inconveniente, así sea por configuración de robots.txt, error de servidor, etc.
Back to top17) Validar los datos estructurados o bien schema
En este caso se facilita el enlace a la herramienta para poder validar la implementación de los Rich Snippets, ya sea en el markup ( mediante código HTML en el template) o a través de JSON, es buena práctica comprobar que la implementación de los datos estructurados es correcta.
Schema.org es un léxico concreto de etiquetas (o microdatos) que se pueden añadir a su HTML para la manera en que su página es entendida por los buscadores web.
Schema.org es el resultado de la cooperación entre Google, Bing, Yandex, y Yahoo! para asistir a proporcionar la información de sus buscadores a través de un lenguaje estándar que deje entender el contenido por la parte de las máquinas y ofrecer los mejores resultados posibles de busca.
Implementar Rich Snippets en código HTML mejora la manera en que su página pueda ser mostrada en las Search Engines Ranking Positions a través de la mejora de los fragmentos enriquecidos que se muestran debajo del título de la página.
es el lugar oficial donde podrá localizar las últimas actualizaciones, una guía para la implementación de esquemas y preguntas usuales.
Back to top18) Configurar URL's con parámetros en Search Console
Normalmente, las URLs con parámetros se producen en páginas webs que ofrecen distintas opciones de clasificación como Ordenar = relevancia, tipo = ascendente, paginación y de esta forma consecutivamente, que asimismo se debe tener en cuenta como parámetros de URL.
Por lo general, todo depende de la configuración del lugar, la arquitectura y la tecnología que se utilice para mostrar u ordenar la información.
Una buena práctica posicionamiento web en buscadores es la generación de URL-friendly, cuya URL no contiene factores dinámicos y contiene las keywords por las que se quiere posicionar.
A continuación veremos como gestionar la crawlabilidad de las URL's con parámetros a través de Search Console.
La administración de factores es una alternativa útil para asistir a la indexación, merece la pena desde la perspectiva de aumento de tráfico desde buscadores y desindexación de páginas que se se indexan en los buscadores mas no aportan valor a la captación de nuevos usuarios en los motores de búsqueda, un ejemplo de URL con parámetros es: www.domino.com/?utm_campaign=coschedule&utm_source=twitter&utm_medium=.
Al hacer clic en Editar,en la opción del factor que se quiera configurar, aparecerá una interfaz donde se podrá determinar qué se quiere hacer con las URLs que contengan dicho factor.
El objetivo es minimizar el número de URL's con parámetros indexadas, de forma que sea más de manera fácil rastreable por Google, lo que va a aumentar la frecuencia de rastreo de su lugar, y también van a tener un costo menor en el ancho de banda preciso para crawlear la información.
Mi recomendación sería, comprobar qué URLs con factores tiene indexados Google de su sitio y además que factores ha detectado en Search Console.
Una vez identificadas las URL's con factores indexadas que no traigan tráfico orgánico, desindexar exactamente las mismas. En paralelo, condigurar las URL's con parámetros para la crawlabilidad de indexabilidad.
Back to top19) Deshabilita CSS y verifica la información en la pagina es la misma para Googlebot y para el usuario
En este caso no nos referimos a que haya información que se carga en el navegador, mas que los usuarios no ven.
Nos referimos a que la información que se carga en el DOM, tiene que ser la misma que los crawlers procesan, esto es, que no se esté cargando ninguna información extra en la plantilla de manera que se repita en secciones de la web donde no es útil.
Para poder hacer esta comprobación es necesario tener instalado, así sea en Mozilla Firefox o Chrome la extensión "". Una vez se instale, ir a la sección: CSS >> Disable all styles
El objetivo es localizar aquellas imágenes, textos o contenidos que se cargan al hacer la solicitud HTTP de la página, es decir al cargar la misma, pero cuya información no se ve en el navegador por el usuario.
Estos fallos suelen ser comunes en CMS o plataformas que usan un sistema de plantillas, de forma que se cargan en todas las páginas, pero que no aportan valor al contenido, consumen recursos y no los bots lo pueden interpretar como .
Del mismo modo pueden estar presentes en webs que estén desarrolladas con implementaciones AJAX, de manera que la información se cargue mas esté oculta y que se muestre cuando se ejecuta un evento en Javascript. Una vez el usuario interactua con la web y hace click, scroll o bien cualquiera otra interactuación, la información será mostrada o bien escondida.
En estos casos, es preciso y comprobar la información cacheada por Google.
Back to top20) Actualización del Sitemap XML vs Sitemap HTML vs RSS
Seguro que esta cuestión levanta un poco de polémica, como puedes revisar en la imagen, el Sitemap XML en la web de Brandemia lleva sin actualizarse más de un año y prosigue incrementando el tráfico desde buscadores, como puedes ver aquí:
La vía opción alternativa para la crawlabilidad e indexación de la página web ha sido esta:
Es una buena práctica la actualización del archivo Sitemap XML y hacer ping en Search Console en el caso de que no exista otra alternativa, como puede ser un Sitemap HTML.
Cada posicionamiento web aplica los cambios que considera que serán mejores basándonos en las peculiaridades del Content Management System, el control que tenga sobre la parte técnica o las restricciones que haya por parte del usuario a la hora de implementar las diferentes opciones para el posiciconamiento en buscadores web.
La implementación de un Sitemap que deje mejorar desde el posicionamiento en buscadores Técnico la crawlabilidad e indexabilidad de cualquier sitio es un factor fundamental en el momento de hacer una estrategia o bien una campaña de search.
Independientemente de como sea la opción escogida se aconseja como una buena práctica para prosperar el posicionamiento web en buscadores la implementación de cualquiera de las opciones alternativas presentadas para poder lograr mejores resultados en las buscas y de esta forma conseguir que nuestros proyectos consigan una mejor visibilidad en los diferentes motores de búsqueda.
Back to top
