Ein Spider ist ein Programm oder Skript, das geschrieben wurde, um systematisch im World Wide Web zu surfen, um Websites zu indizieren. Der erste Web-Roboter, World Wide Web Wanderer, wurde 1993 entwickelt und heute kann eine Spinne auch als Web-Bot, Web-Crawler oder Web-Roboter bezeichnet werden.
Spider werden häufig verwendet, um Schlüsselwörter von Webseiten zu sammeln, die dann sortiert werden, damit Benutzer diese Seiten über eine Internet-Suchmaschine finden können. Andere Spider und Web-Roboter können bestimmte Arten von Informationen von Websites im Internet kratzen.
Bots, Crawl, Internetbegriffe, Roboter, Robots.txt, Slurp, Webseite, Web Scraping, Website
