O robots.txt é um arquivo poderoso, que permite controlar o conteúdo que pode ser rastreado pelos motores de busca (e outros robots Web), e qual deve ser ignorado.

Como deve calcular, uma má configuração do arquivo robots.txt pode ter consequências devastadoras para o seu Website, como a impossibilidade de indexar nos motores de busca, dificuldade do Google Adsense exibir anúncios nas suas páginas, etc.

Na prática, será possível bloquear todos os "robots", ou apenas um indexador específico. O robots.txt é igualmente usado por motivos de segurança, podendo ser usado para impedir que os motores de busca possam indexar páginas "sensíveis", como páginas de login.

Como testar se o Google está bloqueado no robots.txt

O arquivo robots.txt encontra-se na raiz do seu servidor. Se usar o WordPress, ou o Blogger poderá editar facilmente o seu arquivo robots. Para mais detalhes, consulte o seguinte tutorial:

• Como editar arquivo robots.txt no Blogger;
• Editar o robots.txt no WordPress (por exemplo, com o Yoast SEO);

Para efetuar o teste basta usar o serviço do Google aceder ao separador "Rastrear" e selecionar a opção "Teste ao ficheiro robots.txt".

Na parte inferior da janela que surge, selecione o URL que pretende testar (normalmente a página inicial), e o respetivo robot do Google que pretende testar (por exemplo, o mediapartners do Adsense).

Se tudo correr bem, irá obter uma mensagem indicando "Permitido". Caso contrário, basta analisar todas as regras "Disallow" contidas no arquivo robots.txt.

O post Como Testar se o Google está Bloqueado no robots.txt (Webmasters) apareceu primeiro em Aprenda a Montar um Blog - Dicas, Tutoriais e Ferramentas.