Glossar

Focused Crawling

Das World Wide Web umfasst Milliarden von verschiedenen Webseiten, welche nur unter einem enormen Aufwand von einer Suchmaschine erfasst werden können. Nur um Ihnen an dieser Stelle mal ein kleines Beispiel liefern zu können, kann gesagt werden, dass die Suchmaschine Google für die Erstellung eines neuen Index etwa einen Monat benötigt.

Dieser Vorgang wird durch Focused Crawling reduziert, indem nur die wenig erachteten Webseiten gespidert werden und auch nur ein festgelegter Teil von Webseiten in regelmäßigen Abständen von den Spidern der Suchmaschinen durchleuchtet. Im Klartext bedeutet das, wenn Google feststellt, dass Webseiten nicht oder nur sehr selten verändert werden, reduziert sich die Besuchshäufigkeit des Googlebot`s. Die Aktualisierungen einer Webseite werden dafür zunächst von einer Suchmaschine gemessen. Mit dem Focused Crawling wird die Zeit, die für die Erstellung eines neuen Index benötigt wird, stark minimiert.