Lexikon
Robots-TXT
Eine Textdatei, die Verhaltensregeln für den Robot definiert, solange er sich auf der entsprechenden Seite bewegt. Durch eine Robots.txt Datei lassen sich beispielsweise einzelne Verzeichnisse auf einem Server vom Besuch der Robots ausschließen. Dies macht dann Sinn, wenn die Inhalte nicht für ein Erscheinen in den Ergebnislisten der Suchmaschinen gedacht sind. Die Robots.txt muss im Root-Verzeichnis eines Webservers liegen.
