AHÓRRALE TRABAJO A GOOGLE

Utilizando archivos del tipo robots. t xt. E ste t ip o de a rc hivos si r ve para impedir que los buscadores indexen ciertas páginas, para bloquear el acceso a archivos y directorios, impedir que se indexe el contenido duplicado o indicar la ruta del archivo sitemap.xml, que ayuda a los rastreadores en la lectura de la web. Las arañas encargadas de rastrear nuestras webs tienen asignado un valor de tiempo a nuestro sitio y si les decimos qué páginas son prescindibles de rastrear, se centrarán en las que nosotros consideramos más importantes para nuestra estrateg ia. Tenemos que pensar que, por defecto, en una web existen muchos archivos con contenido irrelevante (cuanto más grande la web, más contenido de este tipo). Además, tener un archivo robots. txt bien configurado contribuye a la seguridad de nuestra web”, afirma Lúa Louro.