User Agent

Über den User Agent können Webseitenbetreiber ermitteln, wann ihre Webseite von einem Webcrawler besucht und die Inhalte indexiert wurden. Suchmaschinen verschleiern ihre Crawler heutzutage aber auch, um beispielsweise Spam-Webseiten identifizieren zu können. Spam-Praktiken verstoßen gegen die Google Webmaster Richtlinien und sind mit einer entsprechenden Penalty belegt.

Definition

Der User Agent ist eine Kennung, mit der sich ein Programm bei einem Server anmeldet, um ein Dokument anzufordern. Diese Kennung wird dabei über den HTTP-Header übermittelt. User Agents bilden die Schnittstelle zwischen dem Benutzer (User) und dem Netzwerk. Darüber hinaus lässt sich mittels des User Agents ermitteln, wann genau ein Webcrawler eine Webseite zur Indexierung für die entsprechende Suchmaschine besucht hat. Da User die Kennung ihrer User Agents selbst festlegen können, kann es in manchen Fällen auch zu Verschleierungsversuchen kommen. In Hinblick auf die User Agents der Webcrawler ermöglicht diese Taktik auch die Identifizierung von Webseiten, die Spam produzieren.

Funktionsweise

Greift ein Programm auf eine Webseite zu, wird bei der Übermittlung des entsprechenden Dokuments und der User Agent des Programms authentifiziert. Dieser Prozess wird als Agent Name Delivery bezeichnet. Die übermittelte Kennung besteht dabei aus einer individuellen Zeichenfolge, welche unterschiedliche Informationen über das Betriebssystem und den Produktnamen beinhaltet.

Arten von User Agents

User Agents lassen sich in drei unterschiedliche Typen unterteilen: Browser, Webcrawler und Webapplikationen. Webbrowser wie Google Chrome, Mozilla Firefox oder Internet Explorer sind Programme, die Nutzern das Surfen im Internet ermöglichen. Innerhalb eines Browsers können Webseiten, Grafiken und Applets ausgeführt und dargestellt werden. Webcrawler sind in der Regel Programme von Suchmaschinen wie Google oder Bing, die zur Indexierung von Webseiten eingesetzt werden. Alle Informationen und Daten, die ein Crawler im Zuge dessen über eine Webseite sammelt, werden in einem Index gespeichert. Webapplikationen sind Programme, die zur Pflege von Inhalten, Kommunikation und zum Ausführen von Dateien angewendet werden. Beispiele für solche Webapplikationen sind Streaming-Dienste wie Spotify, Flash-Player oder der Adobe Acrobat Reader.

Bedeutung für das Online Marketing

Für das Online Marketing spielen User Agents insofern eine wichtige Rolle, als dass sie Suchmaschinen die Identifikation von Webseiten, die Spam produzieren, ermöglichen, da die Server nicht zwischen Zugriffen der einzelnen User Agent-Typen unterschieden können. Darüber hinaus gewährleistet die regelmäßige Indexierung von Webseiten, dass diese für entsprechende Suchanfragen auf der Search Engine Result Page (SERP) platziert werden können.