Robots.txt

Die robots.txt ist eine Textdatei im Hauptverzeichnis der Webseite die Suchmaschinen darüber informiert welche Seiten vom Crawler durchsucht werden sollen und welche nicht. Der Betreiber der Webseite hat so die Möglichkeit bestimmte Bestandteile seiner Seite besser zu verbergen (z.B. das Backend). Eine sinnvolle Konfiguration der robots.txt ist also auch wichtig für SEO.