Lexikon
Googlebot
Robot des Suchmaschinengiganten Google.
Der Googlebot ist ein Programm (Webcrawler, Spider), das sich anhand von Links von einer Internetseite zur nächsten bewegt. Dabei werden die Inhalte der Seiten für die Auffindung über Suchmaschinen aufbereitet (indexiert). Diese Inhalte können Texte, Bilder oder auch Dokumente wie PDF-Dateien sein.
Die Häufigkeit der Besuche durch den Googlebot hängt unter anderem von der Anzahl der Links ab, die auf eine Seite verweisen. Aber auch häufige Aktualisierungen können zu einem häufigeren Besuch des Googlebot führen.
Soll eine Seite nicht vom Googlebot indiziert werden, kann diese durch entsprechende Anweisungen in einer Robots.txt-Datei oder in den Meta-Tags für Suchmaschinen gesperrt werden.
Google hat mehrere Bots im Einsatz. Unter anderem einen speziellen Crawler, der für die Ermittlung passender Inhalte für das Google AdSense-Programm zuständig ist.
