Lexikon
Robot
Auch: Spider, Crawler. Programme der Suchmaschinen, die das Internet nach Inhalten durchforsten und diese indexierbar machen. Die Robots folgen den Links einer Seite und kommen so von einer Seite zur nächsten. Sollte eine Seite über keine Inbound Links verfügen, kann eine Anmeldung bei den Suchmaschinen dafür sorgen, dass der Robot die Seite besucht.
