Semana passada estivemos no SMX Brasil realizado na cidade de São Paulo, gostaria de deixar aqui um abraço a todos que eu encontrei por lá que estão lendo este artigo. Seguindo um pouco a linha do evento, hoje daremos 4 dicas BÁSICAS, ou 4 coisas que você deve saber a respeito do robots.txt.

O uso do robots.txt se tornou amplamente utilizado para um método de controle e rastreamento do seu site. Assim tornou-se uma das primeiras coisas que você deve verificar para diagnosticar problemas de indexação ou algum outro problema no seu site. Embora quase todos os webmasters já utilizem esse arquivo, ainda há algumas coisas que causam mal entendidos, vamos a elas:

Robots.txt não dizem que a página será removida do índice dos search engines

A utilização do robots.txt pode evitar que os bots entrem em uma determinada página ou diretório, mas se a url já foi indexada anteriormente a partir de fontes externas, ela usará essas informações para fazer o julgamento da página e formular os snippet (título e descrição que aparecerá nos players de busca).

O robotôs de busca seguem apenas o que você especifica para eles no robots.txt

Se você usa uma definição geral para todos os bots (ou seja: user-agent: *) e uma definição para um bot específico (por exemplo: User-agent: googlebot) nas seções de User-agent, tenha em mente que o Google (e outros indexadores) só seguirá as seções mais específicas e irá ignorar todas as outras seções (incluindo a geral). Ex:

Dê instruções claras no seu arquivo robots.txt

Dentro do arquivo robots.txt os bots lêem uma instrução em uma url a partir da esquerda para a direita, o que significa que eles bloqueiam ou permitem tudo após o “/” em uma url, por exemplo se você colocar: “Disallow: /a” tudo que começa com “a” será descartado pelos bots, neste caso a página www.seudominio.com.br/about.html será descartada pelo user-agent.

Proteja os seus arquivos com o robots.txt

Pensando no lado da segurança e SEO, seu site DEVE ter esse arquivo robots.txt mesmo que você não queira deixar nenhuma direção para o bot, neste caso faça o arquivo e deixe o padrão:

User-agent: *

Disallow:

Por isto, tenha a certeza de que:

• Todos os indexadores buscam entender o que você quer dizer corretamente.

• Os indexadores sempre consigam acessar o seu robots.txt, por isso, sempre olhe o log do Google Webmaster Tools para ver se o Google bot encontrou seu arquivo corretamente.

• Bots não irão esperar para indexar seu site em caso de não poderem atingir seu Robots.txt (um caso muito improvável, mas pode acontecer assim mesmo).

Espero que tenham gostado destas dicas sobre o robots.txt e não deixem de conferir nossa ferramenta para geração de robots.txt.

Um abraço a todos!

Artigo produzido por MestreSEO, empresa especializada em Otimização de Sites. Não perca a oportunidade de conferir as nossas ferramentas de SEO.
Artigo Original: Robots.txt: 4 Coisas Que Você Deve Saber

Curso de SEO

Como muitos de vocês sabem, os mecanismos de busca utilizam-se de robôs de busca, também conhecidos como webcrawlers, para percorrer toda a web, indexando todo ou quase todo o conteúdo disponível. Diante disto, foi criado um padrão onde cada website pode incluir na raíz do seu website um arquivo chamado robots.txt que diz aos robôs de busca quais páginas eles não podem visitar.

Pois bem, aprender como funciona o robots.txt é muito importante no processo de otimização de sites, evitando assim que algum conteúdo restrito fique disponível na web ou ainda que você sofra de conteúdo duplicado.

Vejamos abaixo mais alguns detalhes sobre o padrão robots.txt:

Como Criar um Arquivo robots.txt

Existem diversas maneiras de criar um arquivo robots.txt, como por exemplo, abrir o bloco de notas e criar a partir de lá. Mas aqui na MestreSEO disponibilizamos uma ferramenta online e gratuita onde você pode inserir quais páginas você deseja bloquear dos robôs de busca e ele simplesmente fornece todo o código necessário para gerar o seu arquivo robots.txt. Vale apena testar.

Exemplos de Formatação do robots.txt

Permite que todos os arquivos sejam indexados

User-agent: *

Disallow:

Não permite que nenhum arquivo seja indexado

User-agent: *

Disallow: /

Não permite que uma pasta seja indexada, com aexceção do arquivo myfile.html que está dentro da pasta

User-agent: Googlebot

Disallow: /folder1/

Allow: /folder1/myfile.html

Informação Contida no robots.txt

Os search engines são vorazes por padrão. Eles querem indexar o máximo de informação de qualidade que conseguirem, e eles presumem que podem indexar tudo, a menos que alguém diga para eles pararem.

Se você especificar dados para todos os bots (*) e dados para bots específicos (como o Googlebot), então os comandos específicos para bots serão seguidos enquanto o bot especificado (no nosso exemplo o Googlebot) irá ignorar os comandos globais. Logo, se você fizer um comando global que queira aplicar para um bot específico, então você deverá colocar o comando para o bot específico também.

Quando você bloqueia URLs para que elas não sejam indexadas no Google pelo robots.txt, ele (o Google) pode ainda mostrar estas URLs nos resultados das pesquisas. Uma solução completa é bloquear usando as meta tags:

• <meta name=”robots” content=”noindex”>
• <meta name=”robots” content=”noindex,nofollow”>

Se você não tem um arquivo robots.txt, os logs dos servidores irão retornar erros 404 sempre que um bot tentar acessar o arquivo. Você pode fazer upload do arquivo em branco com o nome robots.txt na pasta raiz do seu site.

Alguns search engines também permitem que você especifique o endereço de um sitemap XML no arquivo robots.txt.

Caracteres Especiais

Google, Yahoo! e MSN permitem o uso de caracteres especiais no arquivo robots.txt.

Para bloquear acesso para todas as URLs que incluem uma interrogação (? – URLs com parâmetros via GET), você deve usar o seguinte código:

User-agent: *

Disallow: /*?

Você pode também especificar arquivos com determinadas extensões usando o cifrão ($). Por exemplo: se você quer bloquear todas as páginas com extensão .asp, coloque no robots.txt :

User-agent: Googlebot

Disallow: /*.asp$

Excentricidades

Sabemos que o Google vem “preenchendo” formulários de pesquisa e indexando as páginas geradas. Para evitar que tais páginas sejam indexadas, bloqueie pelo robots.txt. Suponha que a variável de pesquisa na URL seja “search”. Então você poderia por:

User-agent: *

Disallow: /?search=

para evitar que as páginas geradas por pesquisa sejam geradas.

Analisando o robots.txt

No Google Webmaster Central, existe uma ferramenta de análise muito eficiente, que mostra os erros que o crawler encontrou durante a anáise do seu site. Mais detalhes podem ser encontrados no meu artigo de otimização de sites usando o google webmaster tools.

Conclusões

O uso do robots.txt é uma importante técnica para controle de indexação do seu site e é uma dos primeiros itens a se verificar quando se realiza uma consultoria de SEO. Então fique de olho e não se esqueça de testar o seu robots.txt.

Artigo produzido por MestreSEO, empresa especializada em Otimização de Sites. Não perca a oportunidade de conferir as nossas ferramentas de SEO.
Artigo Original: Tutorial de robots.txt

Curso de SEO