Bot
Ein Bot (z. B. Crawler oder Web Bot) ist ein automatisiertes Programm, das Websites durchsucht, indexiert oder interagiert, wie Googles Googlebot für SEO. Im Hosting müssen Server Bots handhaben, um Überlastung zu vermeiden; in Webdesign sollten Sites bot-freundlich sein, z. B. mit robots.txt.
Bots sind nicht per se gut oder schlecht. Der Googlebot bringt dich in den Index, der Bingbot ebenso, Preisvergleiche und KI-Systeme lesen mit. Daneben laufen Bots, die Formulare zuspammen oder Passwörter durchprobieren. Der Unterschied zeigt sich am Verhalten, nicht am Namen.
Zur Größenordnung: Auf vielen kleineren Websites stammt die Hälfte aller Serveraufrufe von Bots, bei manchen deutlich mehr. Das kostet Rechenzeit, die echten Besuchern fehlt. Eine serverseitige Sperre nach fünf fehlgeschlagenen Anmeldeversuchen in zwei Minuten und ein Limit von 30 Anfragen je Minute je Adresse nehmen den größten Teil dieser Last heraus, ohne Suchmaschinen auszusperren.
Zurück zum Glossar