El comportamiento de los rastreadores (“crawlers”) de los buscadores puede controlarse con  el Archivo robots.txt. Sin embargo, errores de concepto y algoritmos de búsqueda cada vez más inteligentes, configuraciones optimizadas años atrás ahora perjudicarían la eficacia de los rastreos, penalizando el posicionamiento orgánico de una web. Un archivo robots.txt actualizado y adaptado a la estructura del sitio web evitará estos problemas.

Fuente original del ¿Cómo crear el mejor archivo robots.txt para webs y blogs WordPress?: Antonio Fernández ✦ Consultor SEO & Posicionamiento Web • Sevilla, escrito por Antonio Fernández Alonso. ¡¡Gracias por compartir!!