Robots.txt e Algumas Dicas para Word Press

O robots.txt é um arquivo que deve ser encontrado na raiz de todo domínio, ou melhor deveria porque nem todos têm. O robots.txt é um arquivo em texto mesmo, em que você escreve as regras com uma gramática particular entendida pelos spiderbots. Ele é essencial na otimização de sites.

O robots.txt tem basicamente duas funções: evitar conteúdo duplicado e garantir que algumas pastas ou todo seu site não seja visitado e indexado pelos spiderbots, garantindo que seu conteúdo não seja mostrado nos resultados de busca.

Como dito, o robots.txt pode ser usado para proteger seu conteúdo de alguma indexação, por exemplo, se você tem uma cópia do site para testes em uma pasta lembre-se de bloqueá-la também.

Se o robots.txt está presente na raiz do site então ele pode ser acessível tanto para o spiderbot quanto para um usuário qualquer, você pode ver como o pessoal utiliza esse arquivo por ai. Basta acessar: www.seusite.com.br/robots.txt.

Se você utiliza Word Press em seu blog, por exemplo, o spiderbot encontrará seus posts de várias maneiras. Pode ser pela pasta categorias, autores, arquivos entre outras. O que acontece é que ele encontrará o mesmo post por caminhos diferentes caracterizando conteúdo duplicado, apesar dos blogs terem tratamento diferenciado pelos spiderbots é indispensável o bloqueio de algumas pastas. Então você pode bloquear suas pastas de categorias, autores, as pastas de arquivos (seriam: 2007, 2008, etc..).

Isso seria um trecho do robots de um blog otimizado:

sitemap: http://www.seublog.com.br/sitemap.xml

User-agent: *

Disallow: /wp-admin/

Disallow: /author/

Disallow: /comments/

Disallow: /category/

Disallow: /2007/

Disallow: /2008/

O Rafael postou um artigo de como evitar conteúdo duplicado com o robots.txt com exemplos de sua gramática, vale a pena conferir. Aprenda a utilizar o Google Webmaster Tools que contém uma ferramenta de construção do arquivo robots.txt.
Até a próxima.

2.425 assinantes,
assine você também!