Bot / Crawler / Robot / Spider

Bezeichnet Programme, die sich kontinuierlich von Link zu Link durch das Internet bewegen. Dabei analysieren sie die Inhalte von Websites, um diese später indexieren zu können. Diese indexierten Daten werden von Suchmaschinen gesammelt und für eine Suche aufbereitet.