Los buscadores quieren indexar toda la información posible de los sitios web que visitan. Por ello, cuando llegan a tu página, lo intentan rastrear todo.

Esto puede suponer un problema. Por ejemplo, cuando tu página está en producción y no quieres que aún se muestre en buscadores. Para poder controlar esto tenemos dos opciones:

  1. Una etiqueta que incluimos en la cabecera del código HTML de nuestra página: la etiqueta META Robots.
  2. El archivo Robots.txt.

Archivo Robots.txt ¿Qué es?

El archivo Robots.txt es un archivo de texto que se encuentra en la raíz de un dominio y sirve para indicar a los robots de los buscadores qué zonas deseas que puedan rastrear y cuales no.

Al igual que sucede con el archivo sitemap, el archivo robots.txt sigue un estándar para que los buscadores puedan interpretar a qué zonas o archivos de la página pueden acceder.

¿Para qué sirve el archivo Robots.txt?

Como hemos indicado anteriormente, el archivo Robots.txt se usa para controlar el tráfico de rastreo. Gracias a ello conseguiremos:

  • Que los rastreadores de los buscadores no sobrecarguen el servidor de nuestra web.
  • Evitar que Google y otros buscadores muestren resultados de tu página que no desees mostrar en las SERP

¿Cómo se crea un archivo Robots.txt?

Existe amplia información en Internet sobre este tema. Tienes documentación muy completa en esta página de Google.

Si usas WordPress, automáticamente al instalarlo te genera el archivo que se ubica en www.tudominio.com/robots.txt

Crea tu archivo Robots.txt con Website Auditor

Con la magnífica herramienta Website Auditor de SEO Power Suite, puedes crear tus archivos Robots.txt sin problema alguno, a través de un asistente en cuestión de segundos.

Robots.txt con Website Auditor
Formulario para agregar reglas de tu archivo robots.txt con WebSite Auditor

Más información sobre Robots.txt:

¿Quieres aprender como crear un archivo robots.txt desde Website Auditor? Descúbrelo con nuestro tutorial. Regístrate gratis