Robots.txt
Eine kleine Textdatei im Hauptverzeichnis deiner Website. Sie teilt Suchmaschinen Crawlern mit, welche Bereiche sie durchsuchen sollen und welche nicht. Im Grunde deine Hausordnung für automatische Besucher. Wichtig ist: Sie hält nette Bots auf dem richtigen Weg, blockiert aber keine Angreifer. Für echten Schutz brauchst du Zugangsbeschränkungen und Sicherheitseinstellungen.
Die robots.txt sagt Suchmaschinen, welche Bereiche sie nicht abrufen sollen. Sie ist eine Bitte, keine Sperre, und vor allem ist sie kein Schutz: Die Datei ist öffentlich lesbar, wer also geheime Verzeichnisse dort auflistet, hat sie damit veröffentlicht.
Der häufigste Denkfehler: Eine per robots.txt gesperrte Seite kann trotzdem im Index landen, wenn andere Seiten auf sie verlinken. Google zeigt sie dann ohne Beschreibung an. Wer eine Seite wirklich aus dem Index halten will, braucht ein noindex im Seitenkopf, und dazu muss Google die Seite abrufen dürfen. Sperren und noindex gleichzeitig heben sich also gegenseitig auf.
Zurück zum Glossar