Crawler
Automatische Programme von Suchmaschinen, die wie kleine Roboter durchs Netz wandern. Sie besuchen deine Website, lesen Inhalte, folgen Links und melden alles an Google, Bing und andere zurück. So landen deine Seiten im Index und können in Suchergebnissen erscheinen. Über Einstellungen wie robots.txt und Sitemaps kannst du steuern, was sie sehen sollen.
Ein Crawler ist das Programm, das dem Index vorausgeht. Es folgt Links, lädt Seiten und reicht sie zur Auswertung weiter. Was er nicht erreicht, kann nicht ranken. Deshalb sind eine saubere interne Verlinkung und eine gepflegte Sitemap keine Kür, sondern Voraussetzung.
Jede Website bekommt dabei nur ein begrenztes Budget an Zugriffen. Bei einer kleinen Firmenseite mit 80 Seiten spielt das keine Rolle. Bei einem Shop mit 20.000 Adressen sehr wohl: Wenn Filterkombinationen tausende fast identische Adressen erzeugen, verbringt der Crawler seine Zeit dort und findet die 200 wichtigen Seiten seltener. Antwortzeiten unter 500 Millisekunden erhöhen die Zahl der Zugriffe, die Google sich zutraut.
Zurück zum Glossar