Bot
Un bot ( ou robot d'exploration web) est un programme automatisé qui recherche, indexe ou interagit avec les sites web, à l'instar de Googlebot pour le référencement naturel. En hébergement , les serveurs doivent gérer les bots pour éviter la surcharge ; en conception web, les sites doivent être optimisés pour les bots, par exemple avec un fichier robots.txt.
Les bots ne sont ni bons ni mauvais en soi. Le Googlebot et le Bingbot vous indexent ; les comparateurs de prix et les systèmes d'IA surveillent également votre activité. De plus, certains bots spamment les formulaires ou testent des mots de passe. La différence réside dans leur comportement, pas dans leur nom.
Pour vous donner une idée de l'ampleur du problème : sur de nombreux petits sites web, la moitié des requêtes serveur proviennent de robots, et sur certains, ce pourcentage est bien plus élevé. Cela consomme du temps de traitement qui n'est alors plus disponible pour les visiteurs légitimes. Un blocage côté serveur après cinq tentatives de connexion infructueuses en deux minutes et une limite de 30 requêtes par minute et par adresse permettraient de réduire considérablement cette charge sans impacter les moteurs de recherche.
Retour au glossaire