Es werden nicht alle Seiten indiziert
Ich stelle fest dass Google zwar das Meiste, aber nicht alle meine Seitenindiziert.
Woran liegt das ?
Es können verschiedene Dinge sein.
Es kann schon mal einige Wochen dauern bis Google alles spidert.
Der Google-Spider kommt zwar, aber er macht nicht alles auf einmal.
Es ist also nicht so, wenn der Spider ihre Webseite abklappert,
dass er alle Links erfasst, und alle Webseiten speichert, wenn er schon da ist.
In der Regel kommt er vorbei, merkt sich ein paar Links und geht wieder.
Diese werden irgendwann verarbeitet, dann kommt er nochmal, macht da weiter,
wo er aufgehört hat usw. Er arbeitet also ettapenweise.
Dann kommt noch hinzu, dass die Seiten die bereits vermerkt worden sind,
zwar in der Liste sind, aber noch nicht abrufbar, weil noch interne Prozesse
ablaufen.
Dann sind auch die Datenbestände der Google-Rechenzentern nicht alle gleich.
Das heißt aber auch,das die Google-Seite die sie aufrufen, nicht immer das gleiche
Rechenzentrum ist.
Wenn sie z.B. unter Windows die Eingabeaufforderung starten ("DOS"),
und dann z.B. alle Stunde "ping www.google.de" eingeben,
werden sie immer verschiedene IPs zurückerhalten.
Sie geben zwar immer www.google.de ein, aber es ist nicht immer der gleiche Server
der ihnen antwortet.
Eine weitere Möglichkeit ist, dass sie vergessen haben, diese Seite(n)
zu verlinken.
Ist die Startseite indiziert, hangelt sich Google bzw. eine andere Suchmaschine
durch die Links auf dieser Seite. Von diesen Links ausgehend, hangeln sich
die Suchmaschinenspider zu den Seiten die auf dieser Seite verlinkt sind.
Die Webseitenihrer Präsenz sind quasi miteinander zusammengenäht.
Ist eine Seite durch Links nicht wenigstens einmal "eingenäht", wird sie in der Regel
auch nicht indiziert.
Damit eine Seite indiziert wird, muss irgedwo im Internet ein Link auf diese existieren.
Es ist also nicht so, dass Suchmaschinen ihr Webverzeichnis komplett auslesen,
sondern die Spider der Suchmaschinen (Suchprogramme) hangeln sich von Link zu Link,
und somit von Seite zu Seite.
Genau aus diesem Grund, ist es auch nicht notwendig, dass man eine
Webseite anmeldet Es reicht wenn irgendwo ein Link existiert.
Als Beispiel:
Sie haben eine neue Domain, Seiten sind erstellt und auf den Server hochgeladen.
Jetzt sagen sie ihrem Freund der bereits eine Seite hat die im index ist,
dass er auf sie linkt.
Wenn ihn Google das nächste mal besucht, wird auch der Link auf ihre Domain
registriert und irgendwann demnächst bekommen sie auch Besuch.
Dann können auch Fehler in den Webseiten die Ursache sein,
indem sie unbeabsichtigt, z.B. zu Testzwecken, in den Meta-Tags
der Webseiten einen Eintrag haben, "noindex, nofollow" -
also nicht indizieren,den Links nicht folgen.
Auch im Hauptvezeichnis ihrer Domain, wenn sie eine Datei Namens
robots.txthaben, und in diesen aus Versehen oder aus Unwissenheit
einen Eintrag haben, der das Indizieren untersagt, sei es nur Google
oder alle Suchmaschinen.
Ein Eintrag in der robots.txt:
User-agent: *
Disallow /
klammert alle Suchmaschinen aus
ein Eintrag:
User-agent: googlebot
disallow /
klammert nur Google aus.
Und schon haben sie eine Erklärung.
Eine weitere Möglichkeit ist, sie haben irgendwelche "Tipps" beherzigt,
und eine oder mehrere Seiten verstoßen gegen die Google-Richtlinien.
Alle diese erwähnten Dinge kommen vor, aber in der Regel ist es der Fall
dass es einfach nur dauert bis Google alle Seiten indiziert.
SEO - Faq Übersicht