robots.txt
Durch die Textdatei "robots.txt" im Hauptverzeichnis kann vermieden werden, dass
Spider bestimmte Dateien einer Webseite indexieren.
Die Spider seriöser Suchmaschinen halten sich auch in der Regel an diese Anweisung.
Betreibern von Webseiten, die das Spidern absolut ausschließen wollen und müssen,
ist anzuraten, die Ordner in einem passwortgeschützten Verzeichnis unterzubringen.
Jedoch halten sich nicht immer alle Spider an die "robots.txt".
Sollte man dies registrieren, kann der Webmaster über die jeweilige
IP oder den User-Agent
erkannt werden. Ein weiterer Zugriff kann darauf über die
htaccess-Datei vermieden werden.
|