Wissenswertes über die Suchmaschinenoptimierung

Robots.txt

Die robots.txt ist eine normale Textdatei, welche im Rootverzeichnis des Servers liegt. Sie enthält Angaben für Suchmaschinen, welche Teile der Webseite in den Index aufgenommen werden sollen. Sollen die Bots alle Unterseiten auslesen, dann sollte der Inhalt dieser robots.txt so aussehen:

User-agent: * Disallow:

Natürlich werden die Seiten auch ohne die robots.txt ausgelesen. Ist diese nicht gespeichert, wir in den Server-Logs dann eine 404-Meldung angegeben. Es bietet sich jedoch an in der robots.txt anzugeben, wo die Sitemap liegt. Das beschleunigt die Indexierung der Seiten.