Crawl beschreibt einen Bot, ein Skript oder ein Softwareprogramm, das eine Webseite besucht und deren Inhalt und Links erfasst. Nach Abschluss besucht das Programm den nächsten Link in der Liste oder einen Link, den es von der kürzlich besuchten Webseite erhalten hat.
Internetbegriffe, Metacrawler, Suchmaschine, Spider
