Categoria - Robots txt

Dicas, Tutorial, Coisas que você deve saber a repeito do robots.txt

Olá leitores da MestreSEO! Como muitos de vocês sabem, os mecanismos de busca utilizam-se de robôs de busca, também conhecidos como webcrawlers, para percorrer toda a web, indexando todo ou quase todo o conteúdo disponível. Diante disto, foi criado um padrão onde cada website pode incluir na raíz do seu website um arquivo chamado robots.txt [...]