Comentários sobre: Robots.txt: 4 Coisas Que Você Deve Saber

Por: Kauê

Kauê — Wed, 04 Jan 2012 16:29:41 +0000

Prezados, uso dois domínios diferentes em nosso site, e estamos desabilitando um deles. Porém antes de retirá-los, gostaríamos de avisar aos mecanismos de busca que não indexassem mais este endereço. Posso usar o robot para isso?

Por: Vanessa

Vanessa — Mon, 16 Nov 2009 19:51:02 +0000

Olá Leandro, tudo bem?

Você sabe se posso utilizar expressões regulares no robot ao invés de URL´s?
Gostaria de aplicar uma regra fixa de robot.txt para vários sites.

Obrigada

Por: Edson

Edson — Mon, 11 May 2009 11:55:58 +0000

olá amigo, eu tenho uma dúvida, e gostaria que vc me desse uma dica!
Eu uso o plugin da pagenavi no meu site da wordpress!
Com isso todos os link da paginavi estava sendo indexado pelo google! ex do link /page/
Com isso, gerou um monte de paginas duplicadas, fui descobrir o robots.txt um tempo depois, onde bloquiei para não indexar esses links!

Mas, porém, todavia, ainda tem varias paginas que já tinha cido indexado antes que eu tivesse bloqueado, e isso está causando uma série de erros, com meta descrição duplicada, conteúdo duplicado e outros!

Gostaria de saber como faço para retirar estes links das pesquisas do google!

Já tentei remover url pelo webmaster da google, mas lá só apaga links que estão fora do ar!
Por favor preciso de sua ajuda. obrigado!

Estarei a espera!

Por: Daniel Ideriba

Daniel Ideriba — Thu, 09 Oct 2008 20:23:51 +0000

Olá Leandro!

Fiz um robots.txt para ele não indexar algumas páginas do meu site mas tem um problema…
Ele está indexando o meu sitemap.xml

Tem algum comando no robots que faz o bot do google não indexar essa página?

Obrigado!

Por: Robots.txt vs Rel=Nofollow vs Meta Robots Nofollow | fabioricotta - SEO, Blogs, Google e um pouco mais

Fri, 29 Aug 2008 15:14:11 +0000

[...] Robots.txt: 4 Coisas Que Você Deve Saber [...]

Por: Leandro Riolino

Leandro Riolino — Tue, 19 Aug 2008 12:08:07 +0000

icommercepage,
Valeu pelo post, e é por aí mesmo, foi-se o tempo em que não precisava de muito esforço para que os sites ficassem bem posicionados nos players de busca aqui no Brasil. Como foi visto no SMX Brasil, há muitos profissionais no Brasil que fazem otimização e marketing em sites, o que torna a concorrência cada vez mais pesada.

Abraços.

Por: Leandro Riolino

Leandro Riolino — Tue, 19 Aug 2008 12:03:21 +0000

Fala Diogo, blz???

Não sei se entendi bem a sua pergunta, mas até aonde se sabe, não tem como você “enviar” o Robots.txt para o Google para ele olhar, o máximo que você manda para o Google é o sitemap. Se o robots.txt está criado você deve colocar ele na raiz do seu domínio que os Bots (não só o Google Bot) acham ele e pronto, não há mais nada que se possa fazer. A freqüência que o Google visita o seu site pode variar, depende da freqüência que você atualiza o seu site, quanto mais vezes você atualiza seu site, mais freqüentes serão as visitas do Bot. Abaixo segue o que o próprio Google fala sobre robots.txt inacessível :
“Antes de rastrearmos as páginas do seu site, tentamos verificar o arquivo robots.txt para garantir que não rastreamos nenhuma página robotizada. No entanto, o arquivo robots.txt estava inacessível. Adiamos o rastreamento para garantir que não indexamos nenhuma página listada naquele arquivo. Quando isso acontece, voltamos ao seu site mais tarde e fazemos a indexação quando o arquivo robots.txt estiver acessível. Este procedimento é diferente da resposta 404 quando procuramos um arquivo robots.txt. Ao recebermos a resposta 404, presumimos que o arquivo robots.txt não existe e continuamos o rastreamento.”

Por: icommercepage

icommercepage — Sun, 17 Aug 2008 03:14:33 +0000

Um artigo excelente, de que adianta fazer um grade site, se ele não tem uma boa otimização. O pior é que muitos programadores não tem essa preocupação, criam o site e esperam que o site cresça sozinho, antigamente quando a concorrência era menor até que funcionava, hoje não há menor chance de sucessso, sem SEO e SEM, otimização e marketing de busca.

Por: Diogo Alves

Diogo Alves — Fri, 15 Aug 2008 22:52:13 +0000

Olá gostaria de saber o que fazer na seguinte situação google acessou os robots.txt em 21/07/08 e como eu ainda não tinha enviado ele deixou a mensagem na Central do Webmasters de “robots.txt inacessível” porém já faz 1 mês que enviei o robots.txt e ainda consta a mesma data, o que posso fazer para que ele verifique meu robots.txt novamente? Já tentei indo na seção de ferramentas “Analisar robots.txt” e ele me da como resultado “Foi detectada uma referência de sitemap válida”, mas a msg do inacessivel não some, o que posso fazer? Alguem já passou por isto? Vlw galera!

Por: Fábio Ricotta

Fábio Ricotta — Fri, 15 Aug 2008 19:17:50 +0000

Olá Demétrios,

Na verdade colocar no robots apenas previne de indexar, mas não remove do índice. Para tal, você deve remover através do Google Webmaster Tools ou então usar a tag “NOINDEX” na página em questão e habilitar a indexação dela pelo robots.txt

Um abraço

Por: Web Designer Demétrios

Web Designer Demétrios — Fri, 15 Aug 2008 18:49:40 +0000

Na verdade eu somente o User-agent: * e o google não removeu de jeito algum as páginas, só removeu depois que pedi via ferramento Google webmaster. As mesmas ainda existiam e existem até hoje, sei que além do robots teria que remove-la, mas eu não queria…..resumindo: não basta colocar um Disallow: /pagina.htm, precisa remove-la ou então colocar um noindex na página, o que eu acho sem nexo já que vc já esta informando no robots.txt que não quer a tal página indexada no buscadores.

Por: Leandro Riolino

Leandro Riolino — Fri, 15 Aug 2008 18:35:20 +0000

Fala Demetrios,
A minha explicação tinha ficado um pouco confusa mesmo, mas você pode ver eu reescrevi essa parte e espero que esteja mais clara. Mas respondendo a sua pergunta, o que pode ter ocorrido é isso mesmo, como você tinha definições especificas para o Google, o Google Bot desconsiderou as definições do caso Geral.

Abraços

Por: Web Designer Demétrios

Web Designer Demétrios — Fri, 15 Aug 2008 13:38:01 +0000

Eu tenho um site que pedi a meses para tirar a indexação de algumas páginas, utilizei o método User-agent: * e não rolou, tive que pedir remoção pela ferramenta Google Webmaster. Pelo que entendi na sua explicação eu deveria ter usado User-agent: googlebot, estou certo?
Quer dizer que se eu bloquear 4 arquivos pelo User-agent: * e depois bloquear apenas 1 arquivo User-agent: googlebot, o google vai desconsiderar os outros 3 bloqueio via User-agent: * ???