Datei, die verwendet wird, um Webbots anzuweisen oder mitzuteilen, welche Seiten und Verzeichnisse indiziert oder nicht indiziert werden sollen. Diese Datei muss im Stammverzeichnis des Servers abgelegt werden, auf dem Ihre Seiten gehostet werden. Die Datei sollte robots.txt heißen und über Leseberechtigungen verfügen. Unten sehen Sie ein Beispiel für eine robots.txt-Datei.
#robots.txt file for https://www.computerhope.com
User-agent: *
Disallow: /directory1/
Disallow: /directory2/
Im obigen robots.txt-Beispiel ist die erste Zeile eine nicht ausführbare Anweisung, die die Datei beschreibt. Als nächstes teilt die User-Agent-Zeile mit, welche Roboter oder Bots diesem Abschnitt der Datei folgen sollen. Im obigen Beispiel steht * für alle Bots. Schließlich sind die nächsten beiden Zeilen die beiden Verzeichnisse, die die Bots nicht indizieren sollen.
Wenn Sie zulassen möchten, dass ein Bot alle URLs auf Ihrer Website abfragt, geben Sie den Namen des Bots gefolgt von disallow: mit einem leeren Wert ein. Ein Beispiel für diese Konfiguration ist unten dargestellt.
User-agent: Somebot*
Disallow:
Internet-Begriffe, Meta-Tags, Roboter, SEO-Begriffe, Sitemap, Webdesign-Begriffe
