Comentários sobre: Tutorial de robots.txt

Por: Marcos

Marcos — Mon, 23 Jan 2012 20:43:54 +0000

Olá, No meu caso pedi para o google retirar meus dados na pesquisa e depois pedi pra colocar devolta.
Se for no blogger só alterar as configurações e habilitar exibir o blog e postagens nos resultados de pesquisa no google. hoje estou sem esse problema, Até.

Por: Ricardo

Ricardo — Fri, 20 Jan 2012 22:51:30 +0000

Meu site desapareceu da indexação do google…..o robot.txt me enviou esse arquivo:

Permitido
Detectado como um diretório; arquivos específicos podem ter restrições diferentes

me ajudem por favor

Por: alexandre

alexandre — Sun, 18 Sep 2011 11:47:09 +0000

bom dia amigos !

alguem sabe como esconder o arquivo robots,txt, por um exemplo se alguem acessar meu site e colocar http://www.meusite.com.br/robots.txt ele vai ter acesso ao meu arquivo robots, como eu bloqueio isso.
valeu galera, espero que algume possa me ajudar

Por: Anderson Coimbra

Anderson Coimbra — Wed, 20 Jul 2011 18:38:13 +0000

Olá!
Gostaria de saber se tem alguma forma de bloquear o acesso do robots.txt pelo navegador.

Ex: ….com.br/robots.txt

Não gostaria que vissem as pastas que estou escondendo! Será pelo .htaccess?

Por: Pedro

Pedro — Mon, 11 Jul 2011 17:22:15 +0000

Você poderia me esclarecer uma dúvida?
O Robots.txt deve ser colocado na raiz do site certo?!
Mas caso eu tenha outros sites operando em subpastas, ele funcionaria da mesma maneira?

Por exemplo, vamos supor que meu site seja pedro.com
e eu tenho outro site pedro.com/blog

Se eu colocar um robots.txt no pedro.com e outro na pasta do pedro.com/blog os dois funcionariam corretamente?

O fato é que o google está indexando o diretorio /blog/ do meu site no dominio pedro.com (ex) eu estava pensando em colocar um robots na raiz do site bloqueando tal diretorio, e outro robots dentro da subpasta permitindo! Isto daria certo?

Outra dúvida é que as “palavras-chave” no google webmasters exibe somente palavras deste mesmo sub diretorio!

Por: Marcos

Marcos — Tue, 31 May 2011 15:29:41 +0000

Eu tenho um Blogger, e neste possui o robots.txt mas esta bloquando tudo!
quero saber as tags que liberam tudo nos motores de busca.
me ajude, me informe se pondo as tags no html irá funcionar igual ao robots.txt pois este não é possivel editar..

Por: Joao

Joao — Fri, 20 May 2011 14:33:08 +0000

Primeiramente gostaria de parabenizar a equipe do mestre seo, sem duvida é o melhor site de seo.

A minha duvida é referente a servidor de hospedagem, recentemente troquei de host, com isto o resultado do Googlebot quando executado é totalmente diferente do que era apresentado anteriormente.

Hoje o servidor é lunux e resultado do Googlebot na ferramenta Google Analytics é a seguinte:

“Permitido pela linha 2: Disallow:
Detectado como diretório; arquivos específicos podem ter restrições diferente”

Antes servidor Windows e o resultado do Googlebot era mais ou menos assim:

“Site indexado com sucesso”

Antes o meu site era reconhecido como site hoje o servidor é Detectado como diretório, isso pode prejudicar na posição do site?

Obrigado
João

Por: Thiago Torres

Thiago Torres — Fri, 11 Feb 2011 14:54:11 +0000

Galera, boa tarde.
Tenho uma dúvida que gostaria de solucionar antes de fazer besteira.
Meu site tem páginas dinâmicas no caso http://www.meusite.com.br/default.aspx?idpagina=AASSd46ASd46ASD porém o google ainda tem em cache algumas páginas que nem existem mais no servidor. Gostaria de saber se colocar no ROBOTS.TXT bloqueando o endereço “www.meusite.com.br/default.aspx?idpagina=AASSd46ASd46ASD” a mesma página com o ID diferente será bloqueado ?

Por: Welson Elias

Welson Elias — Tue, 18 Jan 2011 18:43:05 +0000

Ai pessoal eu estou querendo saber se alguém aqui sabe como esconder os diretórios wp-admin, wp-content, wp-includes?

Eu queria saber se alguém sabe se isso é um plugin ou se isso faz no .htacces do servidor mesmo?

Por: Michel

Michel — Mon, 03 Jan 2011 19:03:17 +0000

Uma dúvida pessoal, tem a possibilidade de eu usar o disalow somente para uma categoria especifica do blog para que esta não fosse indexada. E que desta forma as outras continuassem a estarem indexadas?
Ex:
Disallow:/categoria/ciencia/

Por: charles lins

charles lins — Wed, 27 Oct 2010 16:55:49 +0000

Pessoal,

Fiz umas perguntas de avaliação de meu site e algumas pessoas foram anti-profissionais e deixaram mensagens que nada tinha haver.
É possível fazer com que o google não index este tópico/post no buscador, usando o robots.txt?

Por: henrique

henrique — Wed, 08 Sep 2010 15:47:49 +0000

Gostaria de tirar uma duvida, o google quando verifica meu site está pegando como palavra chave as
categorias os produtos e palavras como adicionar, compra, mais as palavras que descrevi como palavras chaves ele não adiciona.
espero que possam ajudar
obrigado.

Por: Frank Marcel

Frank Marcel — Mon, 30 Aug 2010 17:01:22 +0000

Walmir, os códigos
disallow:
e
allow: /

são equivalentes e ambos indicam que não existe nenhuma restrição de rastreamento, ou seja, permite o “Google indexar tudo.”

Por: Walmir SAccomano

Walmir SAccomano — Sun, 29 Aug 2010 00:21:42 +0000

Olá amigos, estive lendo o artigo sobre robots.txt no site dos senhores e percebi que o meu está diferente (criei direto no google webmasters). Para o Google indexar tudo tenho que colocar qual codigo?
Este:
User-agent: *
Disallow:
Ou este:
User-agent: *
Allow: /.
Allow: /

Por: henrique

henrique — Mon, 23 Aug 2010 23:41:51 +0000

Boa noite.
Estou tendo um problema com o robotxt, espero que alguem possa me ajudar
o retorno que estou recebendo é 404 (Não encontrado)
Googlebot Googlebot-Mobile
Permitido
Detectado como diretório; arquivos específicos podem ter restrições diferente
coloquei na pagina
User-Agent: *
Allow: /
ja não sei o que fazer
obriado

Por: robots.txt | 54Bytes

robots.txt | 54Bytes — Fri, 02 Jul 2010 13:35:27 +0000

[...] Se quiserem saber mais informações, podem consultar este tutorial. [...]

Por: Ygor Sarkis

Ygor Sarkis — Thu, 24 Jun 2010 21:56:50 +0000

Pessoal to com uma duvida eu queria bloquear todas os arquivos (páginas) do meu site que estão dentro da pasta “categoria ” menos aqueles que estão dentro de uma subpasta desta anterior e que se chama “eventos”.

Então estaria certo usar essa regra:

User-agent: *

Disallow: /categoria/

Allow: /categoria/ eventos

———————————————————

De certa forma eu conseguiria que apenas os aquivos dentro da subpasta “eventos” fossem indexados dentre aqueles que estão dentro da pasta “categoria” ?

Por: Alex Bonanssa

Alex Bonanssa — Wed, 23 Jun 2010 13:49:22 +0000

Ola estou desesperado espero que alguem possa me ajudar …
É um seguinte ,no meu ferramentas para webmasters esta indicando que tenho
Meta descrições duplicadas = 5.040 Títulos duplicados = 4.991
meu blog http://downloadsferoz.com.br/ so tem 5000 postagem…
o estranho é que todos titulos que esta dando como duplicado esta assim
/2010/06/baixar-jogo-naval-assault-the-killing-tide-xbox360-region-free.html
/2010/06/baixar-jogo-naval-assault-the-killing-tide-xbox360-region-free.html?pr=5685&site=http://downloadsferoz.com.br/
todos os link aparace isso no final ( ?pr=5685&site=http://downloadsferoz.com.br/ ) ai fica tudo
duplicado e depois disso meu blog esta caindo muito o rendimento espero que possam ajudar

Por: Frank Marcel

Frank Marcel — Fri, 28 May 2010 12:41:29 +0000

Acredito que não é possível alterar o robots.txt no Blogspot, mas você pode cadastrar o Blogspot no Webmasters Tools e configurar um sitemap.xml a partir do feed que use 100 ou mais itens (só não me lembro qual parâmetro faz isso!).

Por: Jonecir

Jonecir — Mon, 24 May 2010 13:54:04 +0000

O robots.txt fica no diretório raíz (root). Como já mencionado use ele apenas para NEGAR acesso aos spiders (robots).
Exemplo:

User-agent: *
Disallow: /BD/
Disallow: /teste.php

No exemplo acima estou informando a todos os spiders para não indexar o diretório BD e o arquivo teste.php (que está no root).

Por: Beto

Beto — Sat, 08 May 2010 17:36:23 +0000

Meu robotstxt tá assim=
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search

Sitemap: http://blogdobeto10.blogspot.com/feeds/posts/default?orderby=updated

como mudar para indexar todo blog?

Por: Aleva

Aleva — Fri, 07 May 2010 14:18:31 +0000

Se o arquivo robots.txt não for encontrado por um robot, isso pode fazer com que o site não seja indexado?

Obrigado

Por: Paulo Alberto

Paulo Alberto — Wed, 21 Apr 2010 20:44:43 +0000

Olá, Heron

Excelente artigo. Antes verificava nas estatísticas do site que haviam em média 800 erros de página não encontrada por mês no site, quando fui ver todos eram para o “robots.txt”, é mole ? Obrigado pelas dicas!

Att,
Paulo

Por: Lana

Lana — Thu, 18 Feb 2010 23:04:06 +0000

Obrigada pela atenção, Frank

Foi muito útil a explicação. Agora eu sei o que fazer.

Abraços.

Por: Frank Marcel

Frank Marcel — Wed, 17 Feb 2010 16:10:10 +0000

Olá Lana! Não há problema em ter um robots.txt em branco e, na verdade, também não há um grande problema em nem ter o robots.txt, mas é uma boa prática que vale seguir.

Se você não pretende “brincar” com a indexação do site, use o robots conforme foi indicado pelo Heron no primeiro exemplo do artigo:

User-agent: *
Disallow:

Assim, fica tudo como se não existisse robots.txt.

Por: Lana

Lana — Mon, 15 Feb 2010 11:36:59 +0000

Olá,

Não sei se o robots.txt é obrigatório, se pode ser colocado em branco ou apenas ‘Allow’. A verdade é que não tenho nada a esconder por ser um site pessoal.

Porém, se tento bloquear algumas pastas, algum curioso de plantão vê meu ‘robots’ e vai lá, direitinho, ver o que não deve ser indexado. Por isso, até hoje meu site não tem o robots.txt.

Há algum problema nisso, quanto ao Alexa e ao Google?

Por: Marcos

Marcos — Wed, 13 Jan 2010 02:14:40 +0000

Ola,

Estou com 1 dúvida.

O texto é o mesmo mas

Eu quero bloquear:

http://www.conteudoanimal.com.br/colunas/ver.asp?id=88

E ainda liberar:

http://www.conteudoanimal.com.br/colunas/ver.asp?id=88&nome=A%20realidade%20%E9%20outra.

Sugestões ?

[]´s
Marcos

Por: DC

DC — Sun, 10 Jan 2010 12:03:07 +0000

Lembrando que páginas bloqueadas por robots.txt causam problemas quando também bloqueadas com meta tag noindex.

Pois não seguiram a tag noindex. Pois isso é bom utilizar somenta a meta tag robots noindex para bloquear conteúdos, como por exemplo conteúdos pagos.

Por: Como evitar que o Google indexe alguns diretórios ou arquivos do seu site - Robots.txt | Curso de SEO

Sun, 15 Nov 2009 16:17:32 +0000

[...] Veja este tutorial completo da Mestre SEO sobre Robots.txt. [...]

Por: Fittipaldi

Fittipaldi — Tue, 15 Sep 2009 21:13:49 +0000

Boa tarde Heron,
Como fica a situação de sites que é necessário estar logado para ler uma notícia inteira? A metatag robots até já existe, mas tem alguma influência o fato de ter que fazer o login?

Abraços.

Por: emanuel

emanuel — Fri, 11 Sep 2009 23:24:45 +0000

Olá a todos!!
Se eu utilizar o Disallow em alguma página que já aparece em um resultado do google, ele (o google) a substitui por outra página do meu site? E essa página (que eu apliquei o disallow) deixa de ajudar o site nos resultados?

Desde já agradeço a atenção!!

Emanuel…

Por: O que pode atrapalhar a indexação de seu blog nos buscadores Parte II | Zooming Tecnologia

Sun, 09 Aug 2009 11:51:31 +0000

[...] Entenda um pouco mais sobre o robots.txt lendo esse artigo. [...]

Por: Ricardo Politi

Ricardo Politi — Sun, 09 Aug 2009 10:21:58 +0000

Sr do forum bom dia.
Alguem poderia tirar uma dúvida.
Sou novato no assunto mais me dedicando, aonde é a infeliz raiz do meu site, quando conecto o ftp aparecem os diretórios mais as url e meu com o arquivo sitemap e css ali é a raiz do site.
Se eu colocar as metas
meta name=”ROBOTS” content=”index,follow”
meta name=”Googlebot” content=”index,follow”
mesmo assim sou obrigado a montar o robot.txt,se ou montar o robot posso tiras as tag acima, qual o motivo de usar robot para indexa todas as paginas?
desde ja agradeço abraços

Por: Enrico

Enrico — Fri, 03 Jul 2009 20:43:36 +0000

Como funcionam os robots para arquivos em Flash? Como eles indexam esses arquivos?

Por: Lobão

Lobão — Wed, 10 Jun 2009 01:23:58 +0000

Caro Heron, congratulações. Meu caso é parecido com esse aí do Drax, no teste que fiz apareceram 132 URL’s restritas no meu blog. Teste que fiz nas ferramentas do Google. O arquivo robots txt estava assim:User-agent:Mediapartners-google Disallow:User-agent * Disallow:/Search Sitemap:http://www,pianoclassico.org/feeds/posts/default?orderby=updated
Então retirei Disallow: E Disallow: /search
Testei 132 URL’s que estavam restritas e ficaram “permitidas”. Agora quero enviar este Arquivo robots’txt para que essas URL’s sejam indexadas, mas não sei como fazê-lo caro amigo. O que é arquivo de nível superior? E Arquivo raíz? Pode me socorrer? Ob Antecipadamente agradeço. Abraço fraternal!

Por: Drax

Drax — Tue, 09 Dec 2008 12:47:46 +0000

Opa..

Sem querer abusar da boa vontade, mas eu estou com um robots .txt que tá me deixando doido, já lítudo o que podia e até agora não descobri (acho que o mais facil) que é como mandar o arquivo para o meu site…

eu tinha http://www.draxrio.blogspot.com e agora tenho um dominio no proprio google http://www.draxrio.com
e lá nao me ensina como mandar o maldito robots.txt e nem diz pra onde mandar..

VC pode me dá uma luz::

Obrigado

Ednilson

Por: Vinicius

Vinicius — Sat, 01 Nov 2008 00:51:37 +0000

Olá
Gostaria de fazer um robotx.txt para que o google não indexe o conteúdo do meu blog, isso é possível?
Se sim como?
Obrigado

Por: Fábio Ricotta

Fábio Ricotta — Sat, 18 Oct 2008 23:38:45 +0000

Olá Élvio,

O robotx.txt funciona através de regras de negação. Parte-se do suposto que todos os arquivos são acessíveis e você apenas limita os que não quer que sejam lidos. Logo não existe o tipo “Allow:” de regra.

Espero ter esclarecido.

Fábio Ricotta

Por: Élvio

Élvio — Sat, 18 Oct 2008 21:42:39 +0000

O Certo é assim?

User-agent: *

Disallow:

mais eu uso diferente em meu blog

uso assim

User-agent: *

Allow:

Não a nenhum problema quanto a usar assim pois meu blog não quebra nenhuma regra .

O tem algo de diferente quanto aos dois modos?
E qual o motivo de se usar o “disallow”?
Não estou questionado mais sim curioso pois sou novato em termos ‘SEO’

Por: Fábio Ricotta

Fábio Ricotta — Fri, 22 Aug 2008 11:32:39 +0000

Olá Luiz,

No robots você usa apenas o comando Disallow. Você pode “desabilitar nada”.

Como o Heron indicou no post, o correto é:

User-agent: *

Disallow:

O Google segue o padrão de robots.txt.

Até mais

Por: Luiz Antonio

Luiz Antonio — Fri, 22 Aug 2008 00:32:55 +0000

para o google o correto é este. para indexar o site inteiro.

User-Agent: *
Allow: /

Por: mauricio ferraz

mauricio ferraz — Tue, 05 Aug 2008 22:00:21 +0000

ola, amigo, tudo bem?

gostaria se possivel, que vc me explicasse, como faço para enviar meu sitemap para o google, pois não consegui em lugar nenhum a explicação do que vem a ser a pasta raiz do meu site… ou no caso de blog nao e necessario o envio de sitemap? esta minha pergunta, é porque algumas paginas de meu site estao sendo ignoradas e outras duplicadas… e isso esta prejudicando minha indexação…. sou meio novo neste arte e gostaria de orientação passo a passo… se possivel.. agradeço o empenho antecipadamente….

Por: Web Designer Demétrios

Web Designer Demétrios — Tue, 29 Jul 2008 22:53:05 +0000

Dúvida sobre as buscas: O google consegue fazer pesquisas de qualquer estrutura de busca?
Já vi sites com buscas feitas no estilo javascript, dá uma URL padrão pra qualquer resultado, sem ID sem nada.

Por: Daniel Ideriba

Daniel Ideriba — Tue, 29 Jul 2008 21:31:55 +0000

Olá Heron!

Meu robots.txt está da seguinte forma:

User-agent: Googlebot
Disallow: /*/trackback*
Disallow: /*/feed*
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /2008/

User-agent: *

Disallow: /*/trackback*
Disallow: /*/feed*
Disallow: /wp-admin/

A parte do Disallow: /wp-content/ continua sendo indexada pela Google mesmo com o parâmetro especifico dele…

Você sabe se tenho que por o caminho do diretório inteiro?
Exemplo: /wp-content/plugins/random-posts-plugin ?

Obrigado!

Por: Rafael

Rafael — Tue, 29 Jul 2008 02:09:31 +0000

Olá amigo, porque no meu googlewebmaster tools aparece assim:

URLs restritos pelo robots.txt

Mto obrigado