Comentários sobre: Como Evitar Conteúdo Duplicado Utilizando o Robots.txt http://www.mestreseo.com.br/seo/robots-txt?utm_source=rss&utm_medium=rss&utm_campaign=robots-txt Blog de SEO com informações sobre Otimização de Sites(SEO), Pagerank, Google e Search Engine Marketing (SEM). Aprenda a otimizar o seu site e blog! Fri, 10 Feb 2012 14:15:59 +0000 hourly 1 http://wordpress.org/?v=3.2.1 Por: Esdras José Savioli http://www.mestreseo.com.br/seo/robots-txt/comment-page-1#comment-17907 Esdras José Savioli Wed, 24 Aug 2011 14:40:34 +0000 http://www.mestreseo.com.br/?p=213#comment-17907 Olá, bom dia! Estou com algumas dúvidas a respeito de como proceder com conteúdo duplicado: 1. A página inicial de meu website contém os últimos posts (com o link "continuar lendo..."), de acordo com o que li, isso vai gerar um conteúdo duplicado, qual a melhor ação neste caso? Alterar a página inicial? 2. Caso eu publique o conteúdo de um escritor que já possui tal conteúdo em outro website, o ideal é bloquear o acesso com o robots.txt a esse post? 3. Menus laterais e nuvem de tags (que aparecem em todas as páginas) podem ser considerados conteúdos duplicados? 4. Caso o conteúdo de um post no meu site seja exclusivo e alguém copiá-lo e, mesmo depois do contato se recusar a retirar o conteúdo, o que devo fazer? Isso é muito prejudicial? Olá, bom dia!

Estou com algumas dúvidas a respeito de como proceder com conteúdo duplicado:

1. A página inicial de meu website contém os últimos posts (com o link “continuar lendo…”), de acordo com o que li, isso vai gerar um conteúdo duplicado, qual a melhor ação neste caso? Alterar a página inicial?

2. Caso eu publique o conteúdo de um escritor que já possui tal conteúdo em outro website, o ideal é bloquear o acesso com o robots.txt a esse post?

3. Menus laterais e nuvem de tags (que aparecem em todas as páginas) podem ser considerados conteúdos duplicados?

4. Caso o conteúdo de um post no meu site seja exclusivo e alguém copiá-lo e, mesmo depois do contato se recusar a retirar o conteúdo, o que devo fazer? Isso é muito prejudicial?

]]> Por: Frank Marcel http://www.mestreseo.com.br/seo/robots-txt/comment-page-1#comment-13338 Frank Marcel Mon, 10 Jan 2011 11:01:56 +0000 http://www.mestreseo.com.br/?p=213#comment-13338 Por programação. Aí você precisa entender como funciona o seu servidor e programá-lo. Pelo Apache, por exemplo, é possível algum nível de controle via htaccess. Por programação. Aí você precisa entender como funciona o seu servidor e programá-lo. Pelo Apache, por exemplo, é possível algum nível de controle via htaccess.

]]> Por: João http://www.mestreseo.com.br/seo/robots-txt/comment-page-1#comment-13313 João Fri, 07 Jan 2011 22:07:11 +0000 http://www.mestreseo.com.br/?p=213#comment-13313 Então, é exatamente nesses pontos que eu queria chegar...como é que se faz essa "restrição" de quem pode ou não ver o arquivo? Acredito que o arquivo exista, pois em um portal enorme como o UOL a necessidade de se controlar quais diretórios devem ser indexados ou não é muito maior do que um site de pequeno porte. Então, é exatamente nesses pontos que eu queria chegar…como é que se faz essa “restrição” de quem pode ou não ver o arquivo? Acredito que o arquivo exista, pois em um portal enorme como o UOL a necessidade de se controlar quais diretórios devem ser indexados ou não é muito maior do que um site de pequeno porte.

]]> Por: Frank Marcel http://www.mestreseo.com.br/seo/robots-txt/comment-page-1#comment-13297 Frank Marcel Fri, 07 Jan 2011 10:36:45 +0000 http://www.mestreseo.com.br/?p=213#comment-13297 Mas o robots.txt existe mesmo? Pode não existir, ou a UOL pode estar sendo seletiva com quem pode e quem não pode acessar o arquivo. E aí, quem não tem permissão vai para a página de 404. Por último, pode haver algum erro quanto a isso também. Existe, mas por alguma razão o servidor retorna que não existe. Mas o robots.txt existe mesmo? Pode não existir, ou a UOL pode estar sendo seletiva com quem pode e quem não pode acessar o arquivo. E aí, quem não tem permissão vai para a página de 404. Por último, pode haver algum erro quanto a isso também. Existe, mas por alguma razão o servidor retorna que não existe.

]]> Por: João http://www.mestreseo.com.br/seo/robots-txt/comment-page-1#comment-13290 João Thu, 06 Jan 2011 19:33:33 +0000 http://www.mestreseo.com.br/?p=213#comment-13290 Senhores, o que ocorre por exemplo com o robots do UOL que, quando se digita www.uol.com.br/robots.txt o servidor redireciona o usuário para a página 404? Se o robots existe, não deveria estar acessível? Senhores, o que ocorre por exemplo com o robots do UOL que, quando se digita http://www.uol.com.br/robots.txt o servidor redireciona o usuário para a página 404? Se o robots existe, não deveria estar acessível?

]]> Por: Roberto http://www.mestreseo.com.br/seo/robots-txt/comment-page-1#comment-10661 Roberto Tue, 22 Jun 2010 16:48:31 +0000 http://www.mestreseo.com.br/?p=213#comment-10661 Removi um diretório com mais de 1000 urls (todas estao com 404), e coloquei este no robots.txt como Disallow, o problema é que apareceram um monte de erros de rastreamento que nao estao saindo: Erros Soft 404 ‎(40)‎ Não encontrado ‎(652)‎ Restringido por robots.txt ‎(1.702)‎ Como removerei este tanto de url com o Webmaster tools? (já tentei a opcao remover um diretorio completo e nao aconteceu nada, o nível de acesso dos bots na opcao do webmaster tools esta no máximo) Estes erros comprometeriam o pagerank? Removi um diretório com mais de 1000 urls (todas estao com 404), e coloquei este no robots.txt como Disallow, o problema é que apareceram um monte de erros de rastreamento que nao estao saindo: Erros Soft 404 ‎(40)‎
Não encontrado ‎(652)‎
Restringido por robots.txt ‎(1.702)‎

Como removerei este tanto de url com o Webmaster tools? (já tentei a opcao remover um diretorio completo e nao aconteceu nada, o nível de acesso dos bots na opcao do webmaster tools esta no máximo)
Estes erros comprometeriam o pagerank?

]]> Por: Como fazer o seu Robots.txt | Direct Performance http://www.mestreseo.com.br/seo/robots-txt/comment-page-1#comment-9123 Como fazer o seu Robots.txt | Direct Performance Wed, 10 Feb 2010 18:43:39 +0000 http://www.mestreseo.com.br/?p=213#comment-9123 [...] http://www.mestreseo.com.br/seo/robots-txt/ [...] [...] http://www.mestreseo.com.br/seo/robots-txt/ [...]

]]> Por: Frank Marcel http://www.mestreseo.com.br/seo/robots-txt/comment-page-1#comment-8204 Frank Marcel Wed, 02 Dec 2009 18:29:45 +0000 http://www.mestreseo.com.br/?p=213#comment-8204 Demétrio, o local correto para se colocar o arquivo robots.txt é a raiz do domínio, ou seja, ele deve ser acessível por site.com.br/robots.txt. O sitemap.xml não tem essa obrigação, uma vez que você é que indica às Search Engines onde está este arquivo. No caso do robots.txt, as Search Engines já buscam diretamente na raiz do domínio e em nenhum outro lugar. Demétrio, o local correto para se colocar o arquivo robots.txt é a raiz do domínio, ou seja, ele deve ser acessível por site.com.br/robots.txt.

O sitemap.xml não tem essa obrigação, uma vez que você é que indica às Search Engines onde está este arquivo. No caso do robots.txt, as Search Engines já buscam diretamente na raiz do domínio e em nenhum outro lugar.

]]> Por: DC http://www.mestreseo.com.br/seo/robots-txt/comment-page-1#comment-8180 DC Sun, 29 Nov 2009 18:09:24 +0000 http://www.mestreseo.com.br/?p=213#comment-8180 É na pasta r.iz do seu site. Olhe em sua pasta raiz de seu servidor? Os arquivos estão no diretorio raiz ou em www.site.com.br/algumacoisa ? Colequo na raiz no caso do redirecionamento, coloque no local onde será redirecionado. É na pasta r.iz do seu site. Olhe em sua pasta raiz de seu servidor?

Os arquivos estão no diretorio raiz ou em http://www.site.com.br/algumacoisa ?

Colequo na raiz no caso do redirecionamento, coloque no local onde será redirecionado.

]]> Por: Rafael Marques http://www.mestreseo.com.br/seo/robots-txt/comment-page-1#comment-6188 Rafael Marques Mon, 08 Jun 2009 16:08:34 +0000 http://www.mestreseo.com.br/?p=213#comment-6188 Olá pessoal do Mestre SEO, eu comecei meus estudos mais aprimorados sobre SEO final do ano passado, por isso estou longe de ser bom nisso. Atualmente estou tendo um problema com um de meus sites. Eu mudei a estrutura dos permalinks. O redirecionamento está perfeito, quem acessar a url antiga é redirecionado para a nova, até aí tudo bem. Mas acompanhei a mudança no google webmasters e aparentemente a cada dia cresce o numero de paginas duplicadas, quando abro para ver as urls o google está considerando tanto o permalink antigo como o novo, sendo assim todas as páginas tem 1 conteúdo duplicado. Poderiam me tirar a dúvida de como eu posso resolver isso. Sei que devem receber muitos pedidos para tirar dúvidas, mas agradeço se atenderem. Forte abraço e parabéns pelo site, tem sido bastante útil. Olá pessoal do Mestre SEO, eu comecei meus estudos mais aprimorados sobre SEO final do ano passado, por isso estou longe de ser bom nisso. Atualmente estou tendo um problema com um de meus sites. Eu mudei a estrutura dos permalinks.

O redirecionamento está perfeito, quem acessar a url antiga é redirecionado para a nova, até aí tudo bem. Mas acompanhei a mudança no google webmasters e aparentemente a cada dia cresce o numero de paginas duplicadas, quando abro para ver as urls o google está considerando tanto o permalink antigo como o novo, sendo assim todas as páginas tem 1 conteúdo duplicado.

Poderiam me tirar a dúvida de como eu posso resolver isso. Sei que devem receber muitos pedidos para tirar dúvidas, mas agradeço se atenderem. Forte abraço e parabéns pelo site, tem sido bastante útil.

]]> Por: and http://www.mestreseo.com.br/seo/robots-txt/comment-page-1#comment-4817 and Fri, 27 Feb 2009 17:04:04 +0000 http://www.mestreseo.com.br/?p=213#comment-4817 http://yoast.com/canonical-url-links/ este plugin ajuda na parte de conteudo duplicado apontadom para o link principal. http://yoast.com/canonical-url-links/ este plugin ajuda na parte de conteudo duplicado apontadom para o link principal.

]]> Por: carlinhos medeiros http://www.mestreseo.com.br/seo/robots-txt/comment-page-1#comment-4471 carlinhos medeiros Tue, 10 Feb 2009 13:20:57 +0000 http://www.mestreseo.com.br/?p=213#comment-4471 Tudo bem, o que ninguém explica é se isto funciona para blogger. Mas pelo andar da carruagem tudo indica que não. Já produzi alguns milhares destes robos txt e enfiei na pasta www do meu computador e nem bloqueei nem desbloqueei as URLs. Pior, quando submeto meu blogue as analises de SEO elas dizem que meu robo txt está bloqueado. Vou pendurar as chuteiras em ralação a otimização do meu blogue e me dedicar somente a escrever. Forte abraço Tudo bem, o que ninguém explica é se isto funciona para blogger. Mas pelo andar da carruagem tudo indica que não. Já produzi alguns milhares destes robos txt e enfiei na pasta www do meu computador e nem bloqueei nem desbloqueei as URLs. Pior, quando submeto meu blogue as analises de SEO elas dizem que meu robo txt está bloqueado.

Vou pendurar as chuteiras em ralação a otimização do meu blogue e me dedicar somente a escrever.

Forte abraço

]]> Por: Webmasters Tools para Blogspot | FrankMarcel.com http://www.mestreseo.com.br/seo/robots-txt/comment-page-1#comment-3061 Webmasters Tools para Blogspot | FrankMarcel.com Sat, 13 Dec 2008 03:24:43 +0000 http://www.mestreseo.com.br/?p=213#comment-3061 [...] Se você não faz idéia do que eu estou falando, leia no Blog de SEO do MestreSEO sobre o robots.txt, um arquivo que faz muita diferença no [...] [...] Se você não faz idéia do que eu estou falando, leia no Blog de SEO do MestreSEO sobre o robots.txt, um arquivo que faz muita diferença no [...]

]]> Por: Web Designer Demétrios http://www.mestreseo.com.br/seo/robots-txt/comment-page-1#comment-2406 Web Designer Demétrios Tue, 16 Sep 2008 13:40:25 +0000 http://www.mestreseo.com.br/?p=213#comment-2406 Outra dúvida: Tenho um site que ao acessar www.site.com.br é redirecionado para www.site.com.br/pasta/. Devo colocar o robots.txt e sitemap.xml em www.site.com.br/pasta/ ou dentro www.site.com.br? Outra dúvida:

Tenho um site que ao acessar http://www.site.com.br é redirecionado para http://www.site.com.br/pasta/. Devo colocar o robots.txt e sitemap.xml em http://www.site.com.br/pasta/ ou dentro http://www.site.com.br?

]]> Por: Web Designer http://www.mestreseo.com.br/seo/robots-txt/comment-page-1#comment-2405 Web Designer Tue, 16 Sep 2008 13:33:53 +0000 http://www.mestreseo.com.br/?p=213#comment-2405 Quero bloquear todos os arquivos em HTML, dá pra fazer isso? Por acaso seria: Disallow: /*.htm Ou Disallow: *.htm Quero bloquear todos os arquivos em HTML, dá pra fazer isso?
Por acaso seria:

Disallow: /*.htm

Ou

Disallow: *.htm

]]> Por: Frank Marcel http://www.mestreseo.com.br/seo/robots-txt/comment-page-1#comment-2354 Frank Marcel Mon, 08 Sep 2008 19:59:59 +0000 http://www.mestreseo.com.br/?p=213#comment-2354 Então Demétrios, o símbolo # é considerado comentário. Tudo que estiver depois do # e na mesma linha dele, não será considerado regra, os bots vão ignorar. Se você escrever: disallow: /pagina.php#imagemX ele vai entender disallow: /página.php mas o que você está precisando fazer é ler o post do Heron sobre <a href="http://www.mestreseo.com.br/google-seo/otimizando-o-site-com-o-google-webmaster-tools-parte-final" rel="nofollow">Google Webmasters Tools</a> e testar o seu robots. Assim você esclarece suas dúvidas <b>testando</b>! Então Demétrios, o símbolo # é considerado comentário. Tudo que estiver depois do # e na mesma linha dele, não será considerado regra, os bots vão ignorar.

Se você escrever:
disallow: /pagina.php#imagemX
ele vai entender
disallow: /página.php

mas o que você está precisando fazer é ler o post do Heron sobre Google Webmasters Tools e testar o seu robots. Assim você esclarece suas dúvidas testando!

]]> Por: Web Designer http://www.mestreseo.com.br/seo/robots-txt/comment-page-1#comment-2352 Web Designer Mon, 08 Sep 2008 16:23:25 +0000 http://www.mestreseo.com.br/?p=213#comment-2352 Frank, Outra dúvida que me surgiu: Se por acaso eu colocar no robots: Disallow: /pagina.php Disallow: /pagina.php#imagens/ Allow: /pagina.php#imagens/sub-pasta/nome-foto-1.jpg Ou seja, estou tentando fazer na 1 e 2 linha com que os buscadores não indexem as páginas "pagina.php" e nem os sub-caminhos "pagina.php#imagens/" e na 3 linha que indexe apenas a página com a primeira foto, minha dúvida é se isto funciona. Isto já resolveria meu problema, apesar de não ser o ideal !!! Quanto a dúvida no outro posto acima exite uma solução? Frank,
Outra dúvida que me surgiu: Se por acaso eu colocar no robots:

Disallow: /pagina.php
Disallow: /pagina.php#imagens/
Allow: /pagina.php#imagens/sub-pasta/nome-foto-1.jpg

Ou seja, estou tentando fazer na 1 e 2 linha com que os buscadores não indexem as páginas “pagina.php” e nem os sub-caminhos “pagina.php#imagens/” e na 3 linha que indexe apenas a página com a primeira foto, minha dúvida é se isto funciona. Isto já resolveria meu problema, apesar de não ser o ideal !!!

Quanto a dúvida no outro posto acima exite uma solução?

]]> Por: Designer Demétrios http://www.mestreseo.com.br/seo/robots-txt/comment-page-1#comment-2344 Designer Demétrios Fri, 05 Sep 2008 19:46:53 +0000 http://www.mestreseo.com.br/?p=213#comment-2344 Eu entendi mais ou menos no final....No robots eu não estou usando o #. Deixa eu explicar mais um detalhe que esqueci. Eu quero indexar apenas a páginas, ou seja: Enable: /pagina.php (que no caso nem precisa já que por default o google vai indexar) e: disallow: /#imagens/foto-1.jpg (desabilitar a URL gerada pelo link dos thumbnails) O arquivo "pagina.php" fica na raiz do site, e as imagens ficam no diretório "imagens/sub-pasta/". Ao clicar nos thumbnails o link vai buscar a imagem ampliada em "imagens/sub-pasta/nome-foto.jpg" e gera uma URL assim: www.site.com.br/pagina.php#imagens/sub-pasta/nome-foto-1.jpg, que antes era mostrada apenas www.site.com.br/pagina.php. Nessa situação o ideal para o Google não considerar URL duplicada (já que o conteúdo texto sera o mesmo, mudando apenas a foto 1, 2, 3 etc...) seria como? Eu entendi mais ou menos no final….No robots eu não estou usando o #.
Deixa eu explicar mais um detalhe que esqueci. Eu quero indexar apenas a páginas, ou seja:

Enable: /pagina.php (que no caso nem precisa já que por default o google vai indexar)
e:
disallow: /#imagens/foto-1.jpg (desabilitar a URL gerada pelo link dos thumbnails)

O arquivo “pagina.php” fica na raiz do site, e as imagens ficam no diretório “imagens/sub-pasta/”. Ao clicar nos thumbnails o link vai buscar a imagem ampliada em “imagens/sub-pasta/nome-foto.jpg” e gera uma URL assim: http://www.site.com.br/pagina.php#imagens/sub-pasta/nome-foto-1.jpg, que antes era mostrada apenas http://www.site.com.br/pagina.php. Nessa situação o ideal para o Google não considerar URL duplicada (já que o conteúdo texto sera o mesmo, mudando apenas a foto 1, 2, 3 etc…) seria como?

]]> Por: Frank Marcel http://www.mestreseo.com.br/seo/robots-txt/comment-page-1#comment-2343 Frank Marcel Fri, 05 Sep 2008 18:34:31 +0000 http://www.mestreseo.com.br/?p=213#comment-2343 Olha Demétrios, se você está mesmo usando o caracter # na sua URL vc entrou em uma boa agora, porque esse caracter é usado para indicar um comentário no robots.txt, ou seja, tudo que estiver na mesma linha do # e depois dele, torna-se um comentário, e não uma regra: disallow: /demetrios #comentario - nao permitir acessar URLs que comecem com demetrios ou #a regra abaixo serve para impedir que #URLs que comecem com demetrios nao sejam acessadas disallow: /demetrios Mas, supondo que você não está de fato utilizando esse caracter no robots.txt, disallow: /pagina.php #bloquear pagina.php ou disallow: /pagina.php?imagem= #bloquear pagina.php com parametro imagem ou disallow: /pagina/imagem/foto #bloquear url... são formatos válidos... Olha Demétrios, se você está mesmo usando o caracter # na sua URL vc entrou em uma boa agora, porque esse caracter é usado para indicar um comentário no robots.txt, ou seja, tudo que estiver na mesma linha do # e depois dele, torna-se um comentário, e não uma regra:

disallow: /demetrios #comentario – nao permitir acessar URLs que comecem com demetrios
ou
#a regra abaixo serve para impedir que
#URLs que comecem com demetrios nao sejam acessadas
disallow: /demetrios

Mas, supondo que você não está de fato utilizando esse caracter no robots.txt,
disallow: /pagina.php #bloquear pagina.php
ou
disallow: /pagina.php?imagem= #bloquear pagina.php com parametro imagem
ou
disallow: /pagina/imagem/foto #bloquear url…

são formatos válidos…

]]> Por: Designer Demétrios http://www.mestreseo.com.br/seo/robots-txt/comment-page-1#comment-2339 Designer Demétrios Fri, 05 Sep 2008 01:05:24 +0000 http://www.mestreseo.com.br/?p=213#comment-2339 Dúvida: Criei uma galeria de imagem que ao clicar nos thumbnail ele gera uma url assim: wwww.site.com.br/pagina.php#imagens/foto-1.jpg wwww.site.com.br/pagina.php#imagens/foto-2.jpg wwww.site.com.br/pagina.php#imagens/foto-3.jpg Como devo desabilitar a parte "#imagens/foto-x.jpg" no Robots.txt? Por acaso seria: Disallow: /#imagens= ou Disallow: /#= Não tenho certeza se estou fazendo certo... Dúvida:
Criei uma galeria de imagem que ao clicar nos thumbnail ele gera uma url assim:

wwww.site.com.br/pagina.php#imagens/foto-1.jpg
wwww.site.com.br/pagina.php#imagens/foto-2.jpg
wwww.site.com.br/pagina.php#imagens/foto-3.jpg

Como devo desabilitar a parte “#imagens/foto-x.jpg” no Robots.txt? Por acaso seria:
Disallow: /#imagens=
ou
Disallow: /#=

Não tenho certeza se estou fazendo certo…

]]> Por: Fábio Ricotta http://www.mestreseo.com.br/seo/robots-txt/comment-page-1#comment-1943 Fábio Ricotta Tue, 22 Jul 2008 01:34:31 +0000 http://www.mestreseo.com.br/?p=213#comment-1943 Demétrios, eu acho que eu não me expliquei bem.... Colocando no robots, você bloqueia o acesso à página, mas não remove ela do índice. Para remover você tem que usar a Google Webmaster Tools ou inserir a meta tag "NOINDEX". Certo? Demétrios, eu acho que eu não me expliquei bem….

Colocando no robots, você bloqueia o acesso à página, mas não remove ela do índice. Para remover você tem que usar a Google Webmaster Tools ou inserir a meta tag “NOINDEX”.

Certo?

]]> Por: Web Designer Demétrios http://www.mestreseo.com.br/seo/robots-txt/comment-page-1#comment-1942 Web Designer Demétrios Tue, 22 Jul 2008 00:39:20 +0000 http://www.mestreseo.com.br/?p=213#comment-1942 Para utilizar a ferramenta "remover URLs" do Google Webmaster precisa que as páginas não esteja dora ar (404) segundo o Google. No meu caso as páginas continuarão no ar, quero apenas tirar a indexação, já faz tempo que coloquei no robots e até agora nada. Para utilizar a ferramenta “remover URLs” do Google Webmaster precisa que as páginas não esteja dora ar (404) segundo o Google. No meu caso as páginas continuarão no ar, quero apenas tirar a indexação, já faz tempo que coloquei no robots e até agora nada.

]]> Por: Fábio Ricotta http://www.mestreseo.com.br/seo/robots-txt/comment-page-1#comment-1934 Fábio Ricotta Mon, 21 Jul 2008 22:25:15 +0000 http://www.mestreseo.com.br/?p=213#comment-1934 Olá Demétios, O tempo varia dependendo do crawl rate do seu site. Ao bloquear do robots, você não deixa o Google indexar a sua página, mas se já estiver indexada, a sua página leva um tempo para ser indexada. Se quiser remover a página rapidamente, use o Google Webmaster Tools. O que sempre predomina é o robots, pois o sitemap só mostra a URL, mas o robots dita as regras se o bot pode ou não indexar a página. Abraços Olá Demétios,

O tempo varia dependendo do crawl rate do seu site. Ao bloquear do robots, você não deixa o Google indexar a sua página, mas se já estiver indexada, a sua página leva um tempo para ser indexada.

Se quiser remover a página rapidamente, use o Google Webmaster Tools.

O que sempre predomina é o robots, pois o sitemap só mostra a URL, mas o robots dita as regras se o bot pode ou não indexar a página.

Abraços

]]> Por: Web Designer Demétrios http://www.mestreseo.com.br/seo/robots-txt/comment-page-1#comment-1920 Web Designer Demétrios Sun, 20 Jul 2008 16:06:02 +0000 http://www.mestreseo.com.br/?p=213#comment-1920 Outra dúvida: Se o site tiver uma página no sitemap e a mesma estiver desabilitada no robots.txt o que predomina ? a indexação do sitemap ou o Disallow do robots? Outra dúvida:
Se o site tiver uma página no sitemap e a mesma estiver desabilitada no robots.txt o que predomina ? a indexação do sitemap ou o Disallow do robots?

]]> Por: Web Designer Demétrios http://www.mestreseo.com.br/seo/robots-txt/comment-page-1#comment-1919 Web Designer Demétrios Sun, 20 Jul 2008 16:03:12 +0000 http://www.mestreseo.com.br/?p=213#comment-1919 Dúvida: Quanto tempo leva para o google tirar a indexação de uma página após ter lido o robots.txt? Tenho páginas que desabilitei a meses e até agora não site da indexação do google! OBS: as página existem porém não quero que fique visível para o google. Dúvida:
Quanto tempo leva para o google tirar a indexação de uma página após ter lido o robots.txt?
Tenho páginas que desabilitei a meses e até agora não site da indexação do google!
OBS: as página existem porém não quero que fique visível para o google.

]]> Por: SEO: Erros Fatais para o Sucesso | Mestre SEO http://www.mestreseo.com.br/seo/robots-txt/comment-page-1#comment-1526 SEO: Erros Fatais para o Sucesso | Mestre SEO Tue, 17 Jun 2008 13:03:15 +0000 http://www.mestreseo.com.br/?p=213#comment-1526 [...] faça seu site de modo que os crawlers não possam ver: Isso pode acontecer quando o arquivo robots.txt é usado incorretamente ou quando um site é todo em Flash ou em [...] [...] faça seu site de modo que os crawlers não possam ver: Isso pode acontecer quando o arquivo robots.txt é usado incorretamente ou quando um site é todo em Flash ou em [...]

]]> Por: Conteúdo Duplicado - Punição ou não? | Mestre SEO http://www.mestreseo.com.br/seo/robots-txt/comment-page-1#comment-1506 Conteúdo Duplicado - Punição ou não? | Mestre SEO Mon, 16 Jun 2008 12:59:08 +0000 http://www.mestreseo.com.br/?p=213#comment-1506 [...] nós já tratamos do tema em alguns posts sobre casos e soluções de conteúdo duplicado, como evitar conteúdo duplicado com robots.txt, como identificar e corrigir conteúdo duplicado e um post ilustrado explicando como uma search [...] [...] nós já tratamos do tema em alguns posts sobre casos e soluções de conteúdo duplicado, como evitar conteúdo duplicado com robots.txt, como identificar e corrigir conteúdo duplicado e um post ilustrado explicando como uma search [...]

]]> Por: Frank Marcel http://www.mestreseo.com.br/seo/robots-txt/comment-page-1#comment-1379 Frank Marcel Sat, 07 Jun 2008 14:12:53 +0000 http://www.mestreseo.com.br/?p=213#comment-1379 E aí Leandro! No Google tem a lista de nomes dos bots.. brincadeira! Achei essa lista aqui: http://www.user-agents.org/index.shtml É bem extensa e detalhada. E essa outra mais simples: http://www.jafsoft.com/searchengines/webbots.html#search_engine_robots_and_others Os principais acabam sendo o googlebot, yahoo! slurp (é assim mesmo que entra no robots.txt "User-Agent: Yahoo! Slurp") e o msnbot. Contudo, você pode olhar nas estatísticas do seu site para saber quais outros sites de busca levam visitas ao seu site e descobrir o user agent deles. Abraços! E aí Leandro!

No Google tem a lista de nomes dos bots.. brincadeira!

Achei essa lista aqui:
http://www.user-agents.org/index.shtml

É bem extensa e detalhada.

E essa outra mais simples:
http://www.jafsoft.com/searchengines/webbots.html#search_engine_robots_and_others

Os principais acabam sendo o googlebot, yahoo! slurp (é assim mesmo que entra no robots.txt “User-Agent: Yahoo! Slurp”) e o msnbot. Contudo, você pode olhar nas estatísticas do seu site para saber quais outros sites de busca levam visitas ao seu site e descobrir o user agent deles.

Abraços!

]]> Por: Leandro Feijó http://www.mestreseo.com.br/seo/robots-txt/comment-page-1#comment-1374 Leandro Feijó Fri, 06 Jun 2008 19:36:27 +0000 http://www.mestreseo.com.br/?p=213#comment-1374 Alguém sabe onde encontro uma lista de nomes dos principais crawler bots? Alguém sabe onde encontro uma lista de nomes dos principais crawler bots?

]]> Por: Frank Marcel http://www.mestreseo.com.br/seo/robots-txt/comment-page-1#comment-1286 Frank Marcel Wed, 28 May 2008 19:28:51 +0000 http://www.mestreseo.com.br/?p=213#comment-1286 Marcos Elias, o googlebot reconhece * sim. Você pode testar no <a href="http://www.mestreseo.com.br/google-seo/otimizando-o-site-com-o-google-webmaster-tools" title="MestreSEO Blog: Otimizando o Site com Google Webmasters Tools" rel="nofollow">Google Webmasters Tools</a>. Matheus Felipe, o local comum do robots.txt é na raiz do site. É raro encontrar esses arquivos em outras áreas do site. Mas você pode sempre usar o Google Webmasters Tools para testar! Demétrios, não existe a sintaxe "Enable", o correto é "Allow". E o que o Rafael escreveu no post está correto sim. "Disallow:" significa "não permitir: ", ou seja, não há nada especificado para não ser acessado, logo tudo pode ser acessado. Também é possível fazer isso com a sintaxe " Allow: * ", ou seja, permitir tudo. Abraços! Espero ter ajudado nas dúvidas! Marcos Elias, o googlebot reconhece * sim. Você pode testar no Google Webmasters Tools.

Matheus Felipe, o local comum do robots.txt é na raiz do site. É raro encontrar esses arquivos em outras áreas do site. Mas você pode sempre usar o Google Webmasters Tools para testar!

Demétrios, não existe a sintaxe “Enable”, o correto é “Allow”. E o que o Rafael escreveu no post está correto sim.
“Disallow:” significa “não permitir: “, ou seja, não há nada especificado para não ser acessado, logo tudo pode ser acessado.
Também é possível fazer isso com a sintaxe ” Allow: * “, ou seja, permitir tudo.

Abraços!
Espero ter ajudado nas dúvidas!

]]> Por: Web Designer Demétrios http://www.mestreseo.com.br/seo/robots-txt/comment-page-1#comment-1262 Web Designer Demétrios Tue, 27 May 2008 21:23:56 +0000 http://www.mestreseo.com.br/?p=213#comment-1262 No item "Liberando o acesso para um bot somente" o correto não seria User-agent: googlebot Enable: / ao inves de: User-agent: googlebot Disallow: User-agent: * Ou estou viajando ? No item “Liberando o acesso para um bot somente” o correto não seria
User-agent: googlebot
Enable: /

ao inves de:

User-agent: googlebot
Disallow:
User-agent: *

Ou estou viajando ?

]]> Por: Otimizando o Site com o Google Webmaster Tools | Mestre SEO http://www.mestreseo.com.br/seo/robots-txt/comment-page-1#comment-1239 Otimizando o Site com o Google Webmaster Tools | Mestre SEO Mon, 26 May 2008 11:49:12 +0000 http://www.mestreseo.com.br/?p=213#comment-1239 [...] parte é uma das mais interessante. Aqui tem uma análise do seu robots.txt, e você pode configurar quais partes do seu site não serão indexadas. Aqui também tem a parte [...] [...] parte é uma das mais interessante. Aqui tem uma análise do seu robots.txt, e você pode configurar quais partes do seu site não serão indexadas. Aqui também tem a parte [...]

]]> Por: SEO com JavaScript e Flash como Usar Corretamente | Mestre SEO http://www.mestreseo.com.br/seo/robots-txt/comment-page-1#comment-1165 SEO com JavaScript e Flash como Usar Corretamente | Mestre SEO Thu, 22 May 2008 14:02:40 +0000 http://www.mestreseo.com.br/?p=213#comment-1165 [...] Conteúdo relevante é o que os usuários estão procurando e a meta de um search engine é fornecê-la. Então, neste mundo perfeito, páginas que contenham as mesmas informações serão classificadas de forma semelhante, independentemente das tecnologias utilizadas em sua composição. Infelizmente, em muitos casos, a verdade é bem diferente. [...] [...] Conteúdo relevante é o que os usuários estão procurando e a meta de um search engine é fornecê-la. Então, neste mundo perfeito, páginas que contenham as mesmas informações serão classificadas de forma semelhante, independentemente das tecnologias utilizadas em sua composição. Infelizmente, em muitos casos, a verdade é bem diferente. [...]

]]> Por: Tiago Celestino http://www.mestreseo.com.br/seo/robots-txt/comment-page-1#comment-1068 Tiago Celestino Sun, 18 May 2008 02:56:01 +0000 http://www.mestreseo.com.br/?p=213#comment-1068 Agora entendi melhor como que funciona o robots.txt. :) Agora entendi melhor como que funciona o robots.txt. :)

]]> Por: Matheus Felipe http://www.mestreseo.com.br/seo/robots-txt/comment-page-1#comment-1007 Matheus Felipe Wed, 14 May 2008 12:56:33 +0000 http://www.mestreseo.com.br/?p=213#comment-1007 Cara, achei espetacular a postagem, e veio na hora certa, ontem mesmo passei um por um problema, ou uma dúvida. Abordando um pouco sobre o assunto: Tenho um blog no diretório /blog, porém meu robots encontra no diretório raiz /rotobs.txt (não /blog/rotobs.txt), sendo um blog eu posso deixar o robots no diretório raiz? Um exemplo do meu robots.txt User-agent: * # remova os diretorios Disallow: /cgi-bin/ Disallow: /blog/wp-admin/ Disallow: /blog/wp-includes/ Disallow: /blog/trackback/ Disallow: /blog/feed/ Disallow: /blog/wp-content/files/ (...) # Sitemap autodiscover Sitemap: http://www.matheusfelipe.com.br/sitemap.xml Abraços e obrigado :D Cara, achei espetacular a postagem, e veio na hora certa, ontem mesmo passei um por um problema, ou uma dúvida.

Abordando um pouco sobre o assunto:

Tenho um blog no diretório /blog, porém meu robots encontra no diretório raiz /rotobs.txt (não /blog/rotobs.txt), sendo um blog eu posso deixar o robots no diretório raiz?

Um exemplo do meu robots.txt

User-agent: *
# remova os diretorios
Disallow: /cgi-bin/
Disallow: /blog/wp-admin/
Disallow: /blog/wp-includes/
Disallow: /blog/trackback/
Disallow: /blog/feed/
Disallow: /blog/wp-content/files/
(…)
# Sitemap autodiscover
Sitemap: http://www.matheusfelipe.com.br/sitemap.xml

Abraços e obrigado :D

]]> Por: Marcos Elias http://www.mestreseo.com.br/seo/robots-txt/comment-page-1#comment-1006 Marcos Elias Wed, 14 May 2008 12:53:28 +0000 http://www.mestreseo.com.br/?p=213#comment-1006 Já ouvi várias pessoas (mais de 10) dizerem que o Google não "reconhece" o asterisco como máscara nas entradas do robots.txt, é verdade? Não é o que diz seu texto, e particularmente penso que ele reconheça sim, apesar de não ter testado exaustivamente. Já ouvi várias pessoas (mais de 10) dizerem que o Google não “reconhece” o asterisco como máscara nas entradas do robots.txt, é verdade? Não é o que diz seu texto, e particularmente penso que ele reconheça sim, apesar de não ter testado exaustivamente.

]]>