Quando meu blog ficou fora do ar por uma semana no meio do ano passado, mudei de hospedagem e ainda mudei as URLs das páginas. O Google Webmasters mostrava quase 2500 páginas com erro de “Serviço Indisponível”, “URL não encontrado (404)” e “Restrito pelo robots.txt”.
Os erros de Serviço Indisponível foram sumindo à medida que os dias foram passando, na nova hospedagem. Os erros de “URL não encontrado (404)” foram sendo resolvidos à medida que eu editava posts antigos para atualizar links internos para as novas URLs e consegui resolver alguns “Restrito pelo robots.txt” ao tirar do robots.txt a seguinte linha:
Disallow: /*.php?*$
O plugin que eu usei para redirecionar do antigo permalink para o novo permalink, internamente redirecionava o antigo permalink para uma URL no formato acima, que era então redirecionada pelo próprio WordPress para o novo permalink.
No entanto continuava com quase 1900 erros de “Restrito pelo Robots.txt”, então num momento de iluminação descobri a causa do erro no bloco abaixo do meu robots.txt:
User-agent: Googlebot
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Eu havia habilitado no bendito plugin WP Super Cache a opção de compactar as páginas, que são entregues então compactadas e com a extensão .gz!
O bot do Google, muito esperto, requisita as páginas compactadas, salvando transferência de banda, então foi só remover a linha “Disallow: /*.gz$” do arquivo robots.txt que na próxima indexação já fiquei sem erro de “Restrito pelo robots.txt” e com apenas 54 erros de “URL não encontrado (404)” (não terminei de editar os posts com links para páginas antigas).
0 Comentários.