Glossar

Deep Crawl

Der aus dem englischen stammende Begriff des Deep Crawls bezeichnet zu deutsch eine "Tiefen-Indexierung". Dabei besucht der Spider einer Suchmaschine eine Homepage und liest die Inhalte sowie Unterseiten dieser Homepage aus. Hierbei können verschieden Methoden angewandt werden. Bei einer oberflächlichen Indexierung werden nur neue Seiten erfasst oder gar nur ein kleiner Teil der Homepage. Damit ein Deep Crawl von einer Suchmaschine angewandt wird, kann es verschiedene Kriterien geben wie zum Beispiel den PageRank oder die Domainpopularität einer Homepage.

Es werden alle Informationen bis in die alle unterste Eben ausgelesen und indexiert. Spider arbeiten in der Regel mit Verzögerungen oder Wartezeiten um die Webserver nicht all zu stark zu belasten, da dieser Vorgang bei größeren Webseiten gerne mal mehrere Stunden in Anspruch nehmen kann.