Comentários em: Como Evitar Conteúdo Duplicado Utilizando o Robots.txt http://www.mestreseo.com.br/blog/seo/robots-txt Blog de SEO com informações sobre Otimização de Sites(SEO), Pagerank, Google e Search Engine Marketing (SEM). Aprenda a otimizar o seu site e blog! Mon, 08 Sep 2008 00:58:36 +0000 http://wordpress.org/?v=2.6 Por: Designer Demétrios http://www.mestreseo.com.br/blog/seo/robots-txt#comment-2344 Designer Demétrios Fri, 05 Sep 2008 19:46:53 +0000 http://www.mestreseo.com.br/blog/?p=213#comment-2344 Eu entendi mais ou menos no final....No robots eu não estou usando o #. Deixa eu explicar mais um detalhe que esqueci. Eu quero indexar apenas a páginas, ou seja: Enable: /pagina.php (que no caso nem precisa já que por default o google vai indexar) e: disallow: /#imagens/foto-1.jpg (desabilitar a URL gerada pelo link dos thumbnails) O arquivo "pagina.php" fica na raiz do site, e as imagens ficam no diretório "imagens/sub-pasta/". Ao clicar nos thumbnails o link vai buscar a imagem ampliada em "imagens/sub-pasta/nome-foto.jpg" e gera uma URL assim: www.site.com.br/pagina.php#imagens/sub-pasta/nome-foto-1.jpg, que antes era mostrada apenas www.site.com.br/pagina.php. Nessa situação o ideal para o Google não considerar URL duplicada (já que o conteúdo texto sera o mesmo, mudando apenas a foto 1, 2, 3 etc...) seria como? Eu entendi mais ou menos no final….No robots eu não estou usando o #.
Deixa eu explicar mais um detalhe que esqueci. Eu quero indexar apenas a páginas, ou seja:

Enable: /pagina.php (que no caso nem precisa já que por default o google vai indexar)
e:
disallow: /#imagens/foto-1.jpg (desabilitar a URL gerada pelo link dos thumbnails)

O arquivo “pagina.php” fica na raiz do site, e as imagens ficam no diretório “imagens/sub-pasta/”. Ao clicar nos thumbnails o link vai buscar a imagem ampliada em “imagens/sub-pasta/nome-foto.jpg” e gera uma URL assim: http://www.site.com.br/pagina.php#imagens/sub-pasta/nome-foto-1.jpg, que antes era mostrada apenas http://www.site.com.br/pagina.php. Nessa situação o ideal para o Google não considerar URL duplicada (já que o conteúdo texto sera o mesmo, mudando apenas a foto 1, 2, 3 etc…) seria como?

]]> Por: Frank Marcel http://www.mestreseo.com.br/blog/seo/robots-txt#comment-2343 Frank Marcel Fri, 05 Sep 2008 18:34:31 +0000 http://www.mestreseo.com.br/blog/?p=213#comment-2343 Olha Demétrios, se você está mesmo usando o caracter # na sua URL vc entrou em uma boa agora, porque esse caracter é usado para indicar um comentário no robots.txt, ou seja, tudo que estiver na mesma linha do # e depois dele, torna-se um comentário, e não uma regra: disallow: /demetrios #comentario - nao permitir acessar URLs que comecem com demetrios ou #a regra abaixo serve para impedir que #URLs que comecem com demetrios nao sejam acessadas disallow: /demetrios Mas, supondo que você não está de fato utilizando esse caracter no robots.txt, disallow: /pagina.php #bloquear pagina.php ou disallow: /pagina.php?imagem= #bloquear pagina.php com parametro imagem ou disallow: /pagina/imagem/foto #bloquear url... são formatos válidos... Olha Demétrios, se você está mesmo usando o caracter # na sua URL vc entrou em uma boa agora, porque esse caracter é usado para indicar um comentário no robots.txt, ou seja, tudo que estiver na mesma linha do # e depois dele, torna-se um comentário, e não uma regra:

disallow: /demetrios #comentario - nao permitir acessar URLs que comecem com demetrios
ou
#a regra abaixo serve para impedir que
#URLs que comecem com demetrios nao sejam acessadas
disallow: /demetrios

Mas, supondo que você não está de fato utilizando esse caracter no robots.txt,
disallow: /pagina.php #bloquear pagina.php
ou
disallow: /pagina.php?imagem= #bloquear pagina.php com parametro imagem
ou
disallow: /pagina/imagem/foto #bloquear url…

são formatos válidos…

]]> Por: Designer Demétrios http://www.mestreseo.com.br/blog/seo/robots-txt#comment-2339 Designer Demétrios Fri, 05 Sep 2008 01:05:24 +0000 http://www.mestreseo.com.br/blog/?p=213#comment-2339 Dúvida: Criei uma galeria de imagem que ao clicar nos thumbnail ele gera uma url assim: wwww.site.com.br/pagina.php#imagens/foto-1.jpg wwww.site.com.br/pagina.php#imagens/foto-2.jpg wwww.site.com.br/pagina.php#imagens/foto-3.jpg Como devo desabilitar a parte "#imagens/foto-x.jpg" no Robots.txt? Por acaso seria: Disallow: /#imagens= ou Disallow: /#= Não tenho certeza se estou fazendo certo... Dúvida:
Criei uma galeria de imagem que ao clicar nos thumbnail ele gera uma url assim:

wwww.site.com.br/pagina.php#imagens/foto-1.jpg
wwww.site.com.br/pagina.php#imagens/foto-2.jpg
wwww.site.com.br/pagina.php#imagens/foto-3.jpg

Como devo desabilitar a parte “#imagens/foto-x.jpg” no Robots.txt? Por acaso seria:
Disallow: /#imagens=
ou
Disallow: /#=

Não tenho certeza se estou fazendo certo…

]]> Por: Fábio Ricotta http://www.mestreseo.com.br/blog/seo/robots-txt#comment-1943 Fábio Ricotta Tue, 22 Jul 2008 01:34:31 +0000 http://www.mestreseo.com.br/blog/?p=213#comment-1943 Demétrios, eu acho que eu não me expliquei bem.... Colocando no robots, você bloqueia o acesso à página, mas não remove ela do índice. Para remover você tem que usar a Google Webmaster Tools ou inserir a meta tag "NOINDEX". Certo? Demétrios, eu acho que eu não me expliquei bem….

Colocando no robots, você bloqueia o acesso à página, mas não remove ela do índice. Para remover você tem que usar a Google Webmaster Tools ou inserir a meta tag “NOINDEX”.

Certo?

]]> Por: Web Designer Demétrios http://www.mestreseo.com.br/blog/seo/robots-txt#comment-1942 Web Designer Demétrios Tue, 22 Jul 2008 00:39:20 +0000 http://www.mestreseo.com.br/blog/?p=213#comment-1942 Para utilizar a ferramenta "remover URLs" do Google Webmaster precisa que as páginas não esteja dora ar (404) segundo o Google. No meu caso as páginas continuarão no ar, quero apenas tirar a indexação, já faz tempo que coloquei no robots e até agora nada. Para utilizar a ferramenta “remover URLs” do Google Webmaster precisa que as páginas não esteja dora ar (404) segundo o Google. No meu caso as páginas continuarão no ar, quero apenas tirar a indexação, já faz tempo que coloquei no robots e até agora nada.

]]> Por: Fábio Ricotta http://www.mestreseo.com.br/blog/seo/robots-txt#comment-1934 Fábio Ricotta Mon, 21 Jul 2008 22:25:15 +0000 http://www.mestreseo.com.br/blog/?p=213#comment-1934 Olá Demétios, O tempo varia dependendo do crawl rate do seu site. Ao bloquear do robots, você não deixa o Google indexar a sua página, mas se já estiver indexada, a sua página leva um tempo para ser indexada. Se quiser remover a página rapidamente, use o Google Webmaster Tools. O que sempre predomina é o robots, pois o sitemap só mostra a URL, mas o robots dita as regras se o bot pode ou não indexar a página. Abraços Olá Demétios,

O tempo varia dependendo do crawl rate do seu site. Ao bloquear do robots, você não deixa o Google indexar a sua página, mas se já estiver indexada, a sua página leva um tempo para ser indexada.

Se quiser remover a página rapidamente, use o Google Webmaster Tools.

O que sempre predomina é o robots, pois o sitemap só mostra a URL, mas o robots dita as regras se o bot pode ou não indexar a página.

Abraços

]]> Por: Web Designer Demétrios http://www.mestreseo.com.br/blog/seo/robots-txt#comment-1920 Web Designer Demétrios Sun, 20 Jul 2008 16:06:02 +0000 http://www.mestreseo.com.br/blog/?p=213#comment-1920 Outra dúvida: Se o site tiver uma página no sitemap e a mesma estiver desabilitada no robots.txt o que predomina ? a indexação do sitemap ou o Disallow do robots? Outra dúvida:
Se o site tiver uma página no sitemap e a mesma estiver desabilitada no robots.txt o que predomina ? a indexação do sitemap ou o Disallow do robots?

]]> Por: Web Designer Demétrios http://www.mestreseo.com.br/blog/seo/robots-txt#comment-1919 Web Designer Demétrios Sun, 20 Jul 2008 16:03:12 +0000 http://www.mestreseo.com.br/blog/?p=213#comment-1919 Dúvida: Quanto tempo leva para o google tirar a indexação de uma página após ter lido o robots.txt? Tenho páginas que desabilitei a meses e até agora não site da indexação do google! OBS: as página existem porém não quero que fique visível para o google. Dúvida:
Quanto tempo leva para o google tirar a indexação de uma página após ter lido o robots.txt?
Tenho páginas que desabilitei a meses e até agora não site da indexação do google!
OBS: as página existem porém não quero que fique visível para o google.

]]> Por: SEO: Erros Fatais para o Sucesso | Mestre SEO http://www.mestreseo.com.br/blog/seo/robots-txt#comment-1526 SEO: Erros Fatais para o Sucesso | Mestre SEO Tue, 17 Jun 2008 13:03:15 +0000 http://www.mestreseo.com.br/blog/?p=213#comment-1526 [...] faça seu site de modo que os crawlers não possam ver: Isso pode acontecer quando o arquivo robots.txt é usado incorretamente ou quando um site é todo em Flash ou em [...] [...] faça seu site de modo que os crawlers não possam ver: Isso pode acontecer quando o arquivo robots.txt é usado incorretamente ou quando um site é todo em Flash ou em [...]

]]> Por: Conteúdo Duplicado - Punição ou não? | Mestre SEO http://www.mestreseo.com.br/blog/seo/robots-txt#comment-1506 Conteúdo Duplicado - Punição ou não? | Mestre SEO Mon, 16 Jun 2008 12:59:08 +0000 http://www.mestreseo.com.br/blog/?p=213#comment-1506 [...] nós já tratamos do tema em alguns posts sobre casos e soluções de conteúdo duplicado, como evitar conteúdo duplicado com robots.txt, como identificar e corrigir conteúdo duplicado e um post ilustrado explicando como uma search [...] [...] nós já tratamos do tema em alguns posts sobre casos e soluções de conteúdo duplicado, como evitar conteúdo duplicado com robots.txt, como identificar e corrigir conteúdo duplicado e um post ilustrado explicando como uma search [...]

]]>