Robots.txt es uno de los ficheros más simples de un sitio mas también uno de los más fáciles de arruinar. Sólo un fallo de tipeo puede causar estragos en tu posicionamiento SEO y eludir que los motores de búsqueda accedan al contenido importante en tu sitio.
Esta es la razón por la que los fallos de configuración de robots.txt son extremadamente comunes, incluso entre los profesionales posicionamiento web en buscadores con experiencia.
En esta guía aprenderás:
Back to top1) ¿Qué es un fichero robots.txt?
Un archivo robots.txt le dice a los motores de búsqueda por dónde pueden y por donde no pueden ir en tu sitio.
En primer sitio, cuenta todo el contenido que deseas bloquear de los motores de búsqueda como Google. También le puedes apuntar a ciertos motores de búsqueda (no a Google) cómopueden rastrear el contenido alcanzable.
La mayoría de los motores de búsqueda son obedientes. No tienen el hábito de ignorar una restricción. Dicho esto, ciertos no son tímidos a la hora de obviar dichas restricciones.
Google no es uno de esos motores de búsqueda, obedece las instrucciones de un fichero robots.txt.
Sólo debes saber que algunos motores de búsqueda lo ignoran por completo.
Back to top2) ¿Cómo se ve un fichero robots.txt?
Este es el formato básico de un archivo robots.txt:
Si nunca has visto uno de estos ficheros antes puede parecer desalentador. No obstante, la sintaxis es bastante simple. Para resumir, debes asignar reglas a los robots indicando su user-agentseguido de las directivas.
Exploremos estos 2 componentes con más detalle.
Back to top3) User-agents
Cada motor de búsqueda se identifica con un user-agent diferente. Puedes establecer instrucciones adaptadas para cada uno de ellos en el fichero robots.txt. Hay, mas aquí existen algunos útiles en relación al SEO:
- Google:Googlebot
- Google Images:Googlebot-Image
- Bing:Bingbot
- Yahoo:Slurp
- Baidu: Baiduspider
- DuckDuckGo:DuckDuckBot
Todos los usuario-agents distinguen entre mayúsculas y minúsculas en robots.txt.
También puedes emplear el asterisco (*) para asignar directivas a todos y cada uno de los usuario-agents.
Sigue leyendo









