Spider
Spider, oder auch Roboter oder Agent genannt, sind die Instrumente der Suchmaschinen.
Diese speziellen Programme durchsuchen kontinuierlich das Web, um die für Suchmaschinen
relevante Informationen zu sammeln und zu filtern. Um zu erreichen, dass der Spider die
eigene Webseite schnellst möglich spidert, sollte mein dafür sorgen, dass die Webseite
von möglichst vielen Quellen aus verlinkt wird. Es ist ebfalls föderlich, die Seite
über die Anmeldeformulare der Suchmaschinen einzutragen.
Speziell im Fall von Google besteht die Möglichkeit, eine sogenannte Sitemap anzulegen.
Dieses ist eine speziell formatierte XML-Datei, die unter dem Namen sitemap.xml im
Hauptverzeichnis der Webseite abgelegt wird. Weitere Informationen hierzu finden Sie
im Bereich der Webmaster-Tools
von Google.
|