Crawler

Ein Softwareprogramm, das automatisch das World Wide Web durchsucht und Websites analysiert. Webcrawler werden vor allem von Suchmaschinen eingesetzt. Weitere Anwendungen sind das Sammeln von RSS-Newsfeeds, E-Mail-Adressen oder von anderen Informationen.