Website wird nicht bei Google gelistet

Weil oft andere Seiten außerhalb deiner Kontrolle auf eine Unterseite verlinken, und dann bekommen Besucher, ob Mensch oder Bot, nur eine 404 statt Inhalt zu finden, zucken mit den Schultern und drücken den Zurück-Knopf.
Es kommt auch vor, daß eine Suchmaschine alten Inhalt indiziert und im Cache hat. Die alte Telefonnummer zum Beispiel, nach der jemand sucht, wird indiziert und verweist auf deine Seite, aber da ist nix mehr, nicht mal ein Hinweis, wo's jetzt weitergeht. Nur eine 'Seite nicht gefunden!'-Seite. :cry:

Follow und revisit-after X wird auf jeden Fall beachtet, und die großen halten sich auch an Anweisungen wie "nicht alle drei Stunden die 100MB-Bildergalerie runterladen, du Nuss!", und die kleinen lassen sich auch erfolgreich aussperren.
Davon völlig abgesehen suchen die Bots nach der robots.txt und wenn sie keine finden, merken sie sich "aha, 404, doofe Seite, Punktabzug". Selbst eine leere Datei ist besser als keine.

Ein fieser Trick (von wegen Bots), die eigene Seite für Bots interessanter zu machen und für ein höheres Ranking zu sorgen, ist es, die Seite regelmäßig zu ändern. Selbst wenn es nur kleine Sachen sind, wie einen Satz umzustellen, einen Schreibfehler einzubauen oder die angezeigte Größe eines Bildes zu ändern. Wichtig ist, daß die Seite nicht 100% identisch mit dem ist, was die letzten dutzende Male vorgefunden wurde.

Übrigens, eine Behinderten-gerechte Seite ist auch eine Bot-freundliche Seite, also wo es geht, darauf achten, daß Inhalte auch mit reinen Textbrowsern angezeigt werden können. Testen, testen, testen. Mit anderen Auflösungen, Betrübssystemen, Browsern, Plattformen (yup, sieht gut aus und ist voll funktionstüchtig, von IE auf Pocket PC bis Camino auf Mac), und natürlich der Oma-Test. Kann jemand, der mit Technik nicht annähernd so vertraut ist wie du, die Seite navigieren und die Information finden, nach der gesucht wird?

Die Webstats auswerten! Ein sichtbarer Zähler war 1996 mal putzig, aber heute wollen wir wissen, wo die Leute herkamen, von welcher Seite und Suchmaschine, mit welchem Browser, OS, Plugins und Auflösung.