SEO FAQ - Ich will nicht gespidert werden

Ich habe eine Webseite,möchte aber nicht dass ich gespidert werde.
Wie kann ich das verhindern ?

Im Prinzip, gar nicht. Man kan zwar in einer Datei namens .htaccess eintragen dass man nicht gespidert werden soll, oder in der Webseite selbst, hierbei handelt es sich aber um eine freiwillige Angelegenheit. Denn alles was auf ihrer Webseite anklickbar ist, kann auch eine Suchmaschine indizieren, ob sie das wollen oder nicht.

Wenn sie auf einer ihrer Seite auf eine andere Seite verlinken, ein Besucher kann also etwas anklicken, so kann das auch eine Suchmaschine lesen und weiterverfolgen.

So wie sie einen Besucher nicht abhalten können auf etwas zu klicken, obwohl man etwas anklicken kann, so können sie eine Suchmaschine nicht daran hindern ihre Seiten zu spidern. Entweder ist es ein Link oder nicht. Ist es ein Link, so ist er anklickbar.

Möchten sie etwas schützen, müssen sie zu anderen Mitteln greifen. (z.B. passwortgeschützten Zugang)