Esta ferramenta gera o conteúdo de um arquivo robots.txt. Com ele, você pode definir o que os crawlers podem ou não acessar.
Aprender como funciona o robots.txt é essencial para evitar acidentes como bloquear o acesso de webcrawlers (Googlebot, MSNbot, ...) ao site, bem como para evitar que algum conteúdo restrito fique disponível na web, ou, ainda, para proteger o site contra conteúdo duplicado interno.
Leia o artigo completo: Tutorial de Robots.txt.