Serviço Indisponível no WordPress com WP Super Cache

Quando meu blog ficou fora do ar por uma semana no meio do ano passado, mudei de hospedagem e ainda mudei as URLs das páginas. O Google Webmasters mostrava quase 2500 páginas com erro de “Serviço Indisponível”, “URL não encontrado (404)” e “Restrito pelo robots.txt”.

Os erros de Serviço Indisponível foram sumindo à medida que os dias foram passando, na nova hospedagem. Os erros de “URL não encontrado (404)” foram sendo resolvidos à medida que eu editava posts antigos para atualizar links internos para as novas URLs e consegui resolver alguns “Restrito pelo robots.txt” ao tirar do robots.txt a seguinte linha:

Disallow: /*.php?*$

O plugin que eu usei para redirecionar do antigo permalink para o novo permalink, internamente redirecionava o antigo permalink para uma URL no formato acima, que era então redirecionada pelo próprio WordPress para o novo permalink.

No entanto continuava com quase 1900 erros de “Restrito pelo Robots.txt”, então num momento de iluminação descobri a causa do erro no bloco abaixo do meu robots.txt:

User-agent: Googlebot
Disallow: /*.js$

Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$

Eu havia habilitado no bendito plugin WP Super Cache a opção de compactar as páginas, que são entregues então compactadas e com a extensão .gz!

O bot do Google, muito esperto, requisita as páginas compactadas, salvando transferência de banda, então foi só remover a linha “Disallow: /*.gz$” do arquivo robots.txt que na próxima indexação já fiquei sem erro de “Restrito pelo robots.txt” e com apenas 54 erros de “URL não encontrado (404)” (não terminei de editar os posts com links para páginas antigas).

Deixe um Comentário

0 Comentários.

Não fique de fora, dê sua opinião!

%d blogueiros gostam disto: