*
Worldsoft-News-Titel
blockHeaderEditIcon

Worldsoft News

Worldsoft-CMS generiert die Datei robots.txt
Ein Robot ist ein Computerprogramm, das von Suchmaschinen eingesetzt wird, um das World Wide Web zu durchsuchen und Webseiten zu analysieren. Dabei werden die gefundenen Seiten indiziert und in den Datenbestand der Suchmaschine aufgenommen.
Der Robot (auch Webcrawler oder Spider genannt) liest beim Auffinden einer Website zuerst die Datei robots.txt. In dieser Datei kann festgelegt werden, ob und wie die Website von einem Robot besucht werden darf. Der Website-Betreiber hat so die Möglichkeit, ausgewählte Inhalte generell oder auch nur für bestimmte Suchmaschinen zu sperren.

Eine Anleitung erhalten Sie unter folgendem Link:

http://www.worldsoft-downloads.info/pdf/help/robots-txt.pdf

Weitere Informationen zum Thema erhalten Sie unter

http://de.wikipedia.org/wiki/Robots_Exclusion_Standard
Benutzername:
User-Login
Ihr E-Mail