Então, o mito de que todo link ruim é malefico realmente existe. Nem todo link ruim vai te prejudicar.
Explicando melhor: se uma rede de sites de spam linkar para o seu site, isso não vai te prejudicar pois não se pode controlar quem aponta link para você. Agora nos caso em que um ou alguns sites ruins linkam para você regularmente e você linka de volta por exemplo, isto é caracterizado sim como fraude.
Outra situação: se um site ruim apontar um link para você tudo bem, agora, se este mesmo site criar sistematicamente links para você, isso também causará punição.
Resumindo: links ruins não vão atrapalhar, o que vai te punir é participar de esquemas de manipulação de resultados.

Qualquer outra dúvida Carlos, sobre este ou outro assunto de SEO, pode comentar nos posts, teremos prazer em responder.