User-Agent
Der User-Agent ist der Name, durch den sich ein Programm beim Anfordern eines Dokumentes
über den Webserver anmeldet. Übermittelt wird der Name durch den HTTP Header.
Dadurch ist es möglich, Suchmaschinen Spider und Software Programme zu identifizieren.
Für die Auswertung des Logfiles ist der User-Agent von großem Vorteil,
da man durch die jeweilige Kennung sehen kann, welcher Suchmaschinen Crawler die Webseite indexiert hat.
Jedoch kann die Kennung auch frei gewählt werden. Das macht den Robotern eine Tarnung möglich.
Dadurch können die Roboter von Suchmaschinen auch unerkannt bestimmte Webseiten überprüfen.
Durch die Tarnung als normaler Browser kann der Roboter gucken, ob dem User verschiedene
Inhalte präsentiert werden und somit Spam-Webseiten entlarven.
|