Glossar

Freshbot

Mit dem Begriff "Freshbot" wird ein Crawler der Suchmaschine Google bezeichnet. Sobald eine Website neu angemeldet wird, besucht der "Freshbot" diese Webseite, um zu erkunden, ob eine regelmäßige Aktualisierung stattfindet. Erkennt der "Freshbot", dass die Webseite aktualisiert wurde, so kehrt er am nachfolgenden Tag wieder zurück.

Ein "Freshbot" verfolgt in der Regel nicht alle Links. Es wird er oberflächlich gecrawlt. Von einem "Freshbot" erfasst werden nur HTML und Text. Im Gegensatz dazu wertet ein "Deepbot" auch weitere Dateiformate wie zum Beispiel PDF, Word, Exel, Flash aus. Einen "Freshbot" kann man meist an IP-Adressen aus dem 64.er und 66.er- Bereich erkennen.