Verbesserte Behandlung von URLs mit Parametern

Freitag, 22. Juli 2011

Sie haben vielleicht bemerkt, dass die Funktion zur Parameterbehandlung verschwunden ist aus dem
Website-Konfiguration > Einstellungen
Bereich der Webmaster-Tools. Keine Sorge; Sie finden sie jetzt unter ihrem neuen Namen, URL-Parameter! Neben der Umbenennung haben wir die Funktion aktualisiert und verbessert. Wir hoffen, dass Sie sie noch nützlicher finden werden. Konfigurationen von URL-Parametern, die in der alten Version der Funktion vorgenommen wurden, sind automatisch in der neuen Version sichtbar. Bevor wir all die coolen Dinge enthüllen, die Sie jetzt mit URL-Parametern tun können, möchten wir Sie an den Zweck dieser Funktion erinnern (oder ihn Ihnen vorstellen, wenn Sie neu bei dieser Funktion sind) und darauf hinweisen, wann sie nützlich sein kann.

Wann man sie verwenden sollte

URL-Parameter helfen Ihnen zu steuern, welche URLs auf Ihrer Website von Googlebot gecrawlt werden sollen, abhängig von den Parametern, die in diesen URLs vorkommen. Diese Funktionalität bietet eine einfache Möglichkeit, das Crawlen von doppeltem Inhalt auf Ihrer Website zu verhindern. Jetzt kann Ihre Website effektiver gecrawlt werden, was Ihre Bandbreitennutzung reduziert und es wahrscheinlich ermöglicht, dass mehr eindeutiger Inhalt von Ihrer Website indexiert wird. Wenn Sie den Verdacht haben, dass die Crawl-Abdeckung des Inhalts auf Ihrer Website durch den Googlebot verbessert werden könnte, kann die Verwendung dieser Funktion eine gute Idee sein. Aber mit großer Macht kommt große Verantwortung! Sie sollten diese Funktion nur verwenden, wenn Sie sich über das Verhalten von URL-Parametern auf Ihrer Website sicher sind. Andernfalls könnten Sie versehentlich das Crawlen einiger URLs verhindern, wodurch deren Inhalt für den Googlebot nicht mehr zugänglich wird.

Viel mehr zu tun

Okay, sprechen wir über das Neue und Verbesserte. Zunächst können Sie, neben der Zuweisung einer Crawl-Aktion an einen einzelnen Parameter, nun auch das Verhalten des Parameters beschreiben. Sie beginnen damit, uns mitzuteilen, ob der Parameter den Inhalt der Seite ändert oder nicht. Wenn der Parameter den Inhalt der Seite nicht beeinflusst, ist Ihre Arbeit erledigt; Googlebot wählt URLs mit einem repräsentativen Wert dieses Parameters aus und crawlt die URLs mit diesem Wert. Da der Parameter den Inhalt nicht ändert, ist jeder gewählte Wert gleichermaßen gut. Wenn der Parameter jedoch den Inhalt einer Seite ändert, können Sie Google nun eine von vier möglichen Arten zuweisen, URLs mit diesem Parameter zu crawlen:

• Googlebot entscheiden lassen
• Jede URL
• Nur URLs mit value=x crawlen
• Keine URLs

Wir haben auch die Möglichkeit hinzugefügt, Ihren eigenen spezifischen Wert anzugeben, der mit der Option “Nur URLs mit
value=x” verwendet werden soll; Sie sind nicht länger auf die Liste der Werte beschränkt, die wir bereitstellen. Optional können Sie uns auch genau sagen, was der Parameter tut — ob er sortiert, paginiert, Inhalte bestimmt usw. Eine letzte Verbesserung ist, dass wir versuchen werden, Ihnen für jeden Parameter eine Stichprobe von Beispiel-URLs von Ihrer Website anzuzeigen, die der Googlebot gecrawlt hat und die diesen speziellen Parameter enthalten.

Von den oben aufgeführten vier Crawl-Optionen ist “Keine URLs” neu und verdient besondere Aufmerksamkeit. Diese Option ist am restriktivsten und hat für jede gegebene URL Vorrang vor den Einstellungen anderer Parameter in dieser URL. Das bedeutet, dass, wenn die URL einen Parameter enthält, der auf die Option “Keine URLs” gesetzt ist, diese URL niemals gecrawlt wird, selbst wenn andere Parameter in der URL auf “Jede URL” gesetzt sind. Sie sollten bei der Verwendung dieser Option vorsichtig sein. Die zweitrestriktivste Einstellung ist “Nur URLs mit value=x.”

Funktion in Verwendung

Lassen Sie uns nun etwas Spaß haben und unser Gehirn an einem Beispiel trainieren.

Es war einmal ein Online-Shop, fairyclothes.example.com. Die Website des Shops verwendete Parameter in ihren URLs, und derselbe Inhalt konnte über mehrere URLs erreicht werden. Eines Tages bemerkte der Shop-Inhaber, dass zu viele redundante URLs den Googlebot daran hindern könnten, die Website gründlich zu crawlen. Also schickte er seinen Assistenten CuriousQuestionAsker zum GreatWebWizard, um sich Rat bezüglich der Verwendung der URL-Parameter-Funktion zu holen, um den vom Googlebot gecrawlten doppelten Inhalt zu reduzieren. Der GreatWebWizard war berühmt für seine Weisheit. Er sah sich die URL-Parameter an und schlug die Konfiguration vor, die in der folgenden Tabelle gezeigt wird:

Der CuriousQuestionAsker konnte seine Natur nicht verleugnen und fing an Fragen zu stellen:

CuriousQuestionAsker: Sie haben Googlebot angewiesen, eine repräsentative URL für trackingId auszuwählen (vom Googlebot auszuwählender Wert). Warum nicht die Option
Nur URLs mit value=x wählen und den Wert selbst aussuchen?
GreatWebWizard: Beim Crawlen des Webs ist der Googlebot auf die folgenden URLs gestoßen, die auf Ihre Website verlinken:

1. fairyclothes.example.com/skirts/?trackingId=aaa123
2. fairyclothes.example.com/skirts/?trackingId=aaa124
3. fairyclothes.example.com/trousers/?trackingId=aaa125

Stellen Sie sich vor, Sie würden dem Googlebot sagen, er solle nur URLs crawlen, bei denen trackingId=aaa125. In diesem Fall würde der Googlebot die URLs 1 und 2 nicht crawlen, da keine von beiden den Wert
aaa125 für trackingIdhat. Ihr Inhalt würde weder gecrawlt noch indexiert werden und keines Ihrer feinen Röcke würde in den Suchergebnissen von Google auftauchen. Nein, für diesen Fall ist die Wahl einer repräsentativen URL der richtige Weg. Warum? Weil das dem Googlebot sagt, dass, wenn er im Web auf zwei URLs stößt, die sich nur in diesem Parameter unterscheiden (wie die URLs 1 und 2 oben), er nur eine von ihnen crawlen muss (jede tut es) und er dennoch den gesamten Inhalt erhält. Im obigen Beispiel werden zwei URLs gecrawlt; entweder 1 und 3 oder 2 und 3. Kein einziger Rock oder Hose geht verloren.

CuriousQuestionAsker: Was ist mit dem sortOrder Parameter? Es ist mir egal, ob die Artikel in aufsteigender oder absteigender Reihenfolge aufgelistet werden. Warum nicht Google einen repräsentativen Wert auswählen lassen?
GreatWebWizard: Während der Googlebot weiter crawlt, findet er möglicherweise die folgenden URLs:

1. fairyclothes.example.com/skirts/?page=1&sortBy=price&sortOrder=’lowToHigh’
2. fairyclothes.example.com/skirts/?page=1&sortBy=price&sortOrder=’highToLow’
3. fairyclothes.example.com/skirts/?page=2&sortBy=price&sortOrder=’lowToHigh’
4. fairyclothes.example.com/skirts/?page=2&sortBy=price&sortOrder=’ highToLow’

Beachten Sie, wie sich das erste Paar von URLs (1 und 2) nur im Wert des
sortOrder Parameters unterscheidet, ebenso wie die URLs im zweiten Paar (3 und 4). Allerdings erzeugen die URLs 1 und 2 unterschiedlichen Inhalt: Die erste zeigt den günstigsten Ihrer Röcke, während die zweite den teuersten zeigt. Das sollte Ihr erster Hinweis darauf sein, dass die Verwendung eines einzigen repräsentativen Wertes für diese Situation keine gute Wahl ist. Wenn Sie außerdem den Googlebot einen einzigen Repräsentanten aus einer Menge von URLs auswählen lassen, die sich nur in ihrem sortOrder Parameter unterscheiden, wählt er möglicherweise jedes Mal einen anderen Wert. In demoben genannten Beispiel könnte aus dem ersten Paar von URLs URL 1 ausgewählt werden (). Wobei
aus dem zweiten Paar URL 4 ausgewählt werden könnte (sortOrder='highToLow'). Sollte das
passieren, würde der Googlebot nur die günstigsten Röcke crawlen (zweimal):

• fairyclothes.example.com/skirts/?page=1&sortBy=price&sortOrder=’lowToHigh’
• fairyclothes.example.com/skirts/?page=2&sortBy=price&sortOrder=’ highToLow’

Ihre teuersten Röcke würden überhaupt nicht gecrawlt! Im Umgang mit Sortierparametern
ist Konsistenz entscheidend. Sortieren Sie immer auf dieselbe Weise.

NeugierigerFragensteller: Wie sieht es mit dem sortBy Wert aus?
Grossartiger WebWizard: Das ist sehr ähnlich zum sortOrder Attribut. Sie möchten, dass die
gecrawlten
URLs Ihrer Listings auf allen Seiten konsistent sortiert sind, andernfalls sind einige der
Artikel für den Googlebot möglicherweise nicht sichtbar. Sie sollten jedoch vorsichtig sein, welchen Wert Sie wählen. Wenn
Sie in Ihrem Shop sowohl Bücher als auch Schuhe verkaufen, ist es besser, den Wert nicht auszuwählen
title da URLs, die auf Schuhe verweisen, niemals enthalten sortBy=title, sodass
sie nicht gecrawlt werden. Ebenso funktioniert die Einstellung sortBy=size gut zum Crawlen von Schuhen, aber nicht zum Crawlen von Büchern. Denken Sie daran, dass sich die Parameterkonfiguration
auf die gesamte Website auswirkt.

NeugierigerFragensteller: Warum nicht URLs mit dem Parameter crawlen filterByColor?
Grossartiger WebWizard: Stellen Sie sich vor, Sie haben eine dreiseitige Liste von Röcken. Einige der Röcke sind
blau, einige sind rot und andere sind grün.

• fairyclothes.example.com/skirts/?page=1
• fairyclothes.example.com/skirts/?page=2
• fairyclothes.example.com/skirts/?page=3

Diese Liste ist filterbar. Wenn ein Nutzer eine Farbe aus erhält er zwei Seiten mit blauen Röcken:

• fairyclothes.example.com/skirts/?page=1&flterByColor=blue
• fairyclothes.example.com/skirts/?page=2&flterByColor=blue

Sie wirken wie neue Seiten (der Satz von Artikeln unterscheidet sich von allen anderen Seiten), aber
es gibt
tatsächlich keinen neuen Inhalt darauf, da alle blauen Röcke bereits in den ursprünglichen
drei Seiten enthalten waren. Es besteht keine Notwendigkeit, URLs zu crawlen, die den Inhalt nach Farbe einschränken, da der auf diesen URLs bereitgestellte Inhalt bereits gecrawlt wurde. Es gibt eine wichtige Sache hier zu beachten: bevor Sie
das Crawlen bestimmter URLs durch Auswahl der Option „Keine URLs“ untersagen, stellen Sie sicher, dass der Googlebot
auf andere Weise auf den Inhalt zugreifen kann. Unter Berücksichtigung unseres Beispiels muss der Googlebot in der Lage sein,
die ersten drei Links auf Ihrer Website zu finden, und es sollte keine Einstellungen geben, die das
Crawlen verhindern.

Wenn Ihre Website über
URL-Parameter
verfügt, die möglicherweise Duplicate-Content-Probleme verursachen, sollten Sie sich das neue URL-Parameter-Feature in den Webmaster Tools ansehen. Lassen Sie uns wissen, was Sie denken oder wenn Sie Fragen haben, posten Sie sie im
Webmaster-Hilfeforum.

Geschrieben von
Kamila Primke,
Software Engineer, Webmaster Tools Team