Crawler

Was ist ein Crawler?

Ein Crawler ist ein automatisiertes Computerprogramm, das von Suchmaschinen zur Indexierung des Internets eingesetzt wird.

Crawler Bedeutung

Ein Crawler wird von den Suchmaschinen zur Indexierung von Webinhalten eingesetzt. Die Computerprogramme gehen dabei automatisiert nach von ihrer Suchmaschine definierten Kriterien vor. Crawler werden auch als Searchbots (Bots) und Spider bezeichnet. Die Namensherkunft geht auf die Suchmaschine WebCrawler zurück, die 1994 als erste Suchmaschine diese Computerprogramme benutzte. Da die Zahl an Suchmaschinen in den letzten Jahren rapide gewachsen ist und auch soziale Medien wie Facebook und Twitter solche Spider benutzen, wird mittlerweile circa 40 Prozent des gesamten Datenverkehrs im World Wide Web von den Suchmaschinenbots abgewickelt. Der Webseitenbetreiber hat einen gewissen Einfluss auf den Suchmaschinentraffic auf seiner Seite, indem er die Suchmaschinen über die Datei Robots von bestimmten Inhalten seiner Seite ausschließen kann.

Dies wird zum Beispiel gern bei einem vorhandenen Off-Topic-Bereich gemacht. Denn Nutzer, die über Google auf einen Offtopic-Bereich gelangen, bleiben der Webseite nur in den seltensten Fällen verbunden. Außerdem kann sich die Suchmaschine dadurch besser auf die relevanten Inhalte der Seite konzentrieren und die Seite besser einordnen. Wichtig für Webseitenbesitzer ist im Rahmen von SEO, die Struktur der Seite so zu gestalten, dass den Suchmaschinen das Indexieren so leicht wie möglich gemacht wird und diese dabei nicht auf technische Schwierigkeiten stoßen. Denn das Indexieren von Inhalten ist die Grundvoraussetzung für für eigene Sichtbarkeit und liegt damit nicht nur im Interesse der Besucher, sondern auch der Seitenbetreiber.

So funktioniert ein Crawler

Crawler bewegen sich über Hyperlinks von einer Webseite zur anderen. Bewegt sich der Crawler über ein Dokument, so wird dieses gespeichert, sodass Veränderungen erkannt und im Suchmaschinenindex aktualisiert werden können. Ihre Arbeit wird in SEO-Kreisen gern mit einem Bibliothekar oder Archivar verglichen, die bei ihrer Verwaltungsarbeit auch nach immer denselben Schlüsseln vorgehen. Zeichnet man den Weg der Crawler nach, so ähnelt ihr Verkehr in den gezeichneten Linien dem Netz einer Spinne, woraus sich mit Spider der sprechende Name ergibt. Manche Crawler werden dazu eingesetzt, um gezielt Daten von Nutzern, etwa über E-Mail-Adressen einzusehen. Folge davon ist meistens unerwünschter Spam. Durch die Ersetzung von „@“ durch „at“ in den Suchmaschinen kann sich jeder vor einem solch ungebetenen Zugriff schützen.

Beispiel

Damit seine Daten nicht von Crawlern gesammelt werden können, schützt Max Mustermann sich, indem er seine Kontakt-E-Mail in seinem Impressum mit: „maxmustermann(at)yahoo.de angibt.

Weitere zufällige Begriffe

Kostenlose SEO-Analyse anfordern!

  • Dieses Feld dient zur Validierung und sollte nicht verändert werden.

Folge uns auf Facebook

Was ist der Page-Rank und ist dieser noch “aktuell”?

Allgemein
0
Der Page Rank ist ein Google-Algorithmus zur Messung der Linkpopularität einer Webseite. Für einen hohen Page Rank sind die Anzahl der eingehenden Links sowie die Stärke der verlinkenden Seite von einer großen Bedeutung. Dabei geht Google bei der Ermittlung des Page Ranks rekursiv vor. Das heißt, Google bewertet zunächst die…

Was ist die Sandbox?

Allgemein
0
Die Sandbox ist ein Prüffilter von Google zur Beurteilung frischer Seiten. Dabei ist es umstritten, ob dieser Prüffilter auch tatsächlich existiert. Die Vermutung kam in Teilen der SEO-Szene mit einem Google-Update im Jahr 2004 auf, als auf einmal viele neue Seiten unnatürlich lange stagnierten oder starken Schwankungen unterworfen waren. Sollte…

Was kostet SEO?

Allgemein
1 Kommentar
Dieser Artikel richtet sich vor allem an kleine und mittelständische Unternehmer, die gern die Suchmaschinenoptimierung (SEO) auslagern würden. Oft verhält es sich so, dass diese Unternehmer nicht in der SEO-Branche aktiv sind und deshalb nicht richtig einschätzen können, was legitime Preise für die Suchmaschinenoptimierung und die Verbesserung der Internetpräsenz sind.…
Menü