Laut Robots-Exclusion-Standard-Protokoll sollen Suchmaschinen-Crawler zunächst im Stammverzeichnis (Root-Verzeichnis) nach einer Datei mit dem Namen robots.txt suchen und die darin enthaltenen Vorgaben auslesen, bevor sie mit der Indexierung der einzelnen Seiten beginnen.

In dieser Datei kann beispielsweise bestimmten Bots bzw. Crawlern untersagt werden, eine Website oder Teile davon indexieren zu dürfen. Allerdings liegt es im Ermessen des Bots oder Crawlers, sich an diese Regeln zu halten. Durch unsachgemäß vorgenommene Anpassungen in dieser Datei kann eine Website schlimmstenfalls ungewollt aus sämtlichen Suchmaschinenindizes entfernt werden, wodurch sie in diesen nicht mehr auffindbar ist.