Die meisten Websites enthalten Seiten, die niemand in der Suche finden sollte: Service- und Administrationsseiten, Inhalte, die nur für eingeloggte Nutzer nützlich sind wie Checkout-Bildschirme und Profile, Entwürfe und Platzhalter. Yandex erklärt, warum das Verstecken keine Hausarbeit, sondern ein Ranking-Faktor ist.
Die drei Kosten, wenn man sie crawlbar lässt
- Unnötige Last auf der Website durch das Crawlen dieser Seiten.
- Der Roboter braucht länger, um Ihre Landingpages zu erreichen — Crawl-Kapazität wird für Seiten verschwendet, die niemals ranken werden.
- Wenn sie indexiert sind, konkurrieren sie mit Ihren wichtigen Seiten und verwirren die Nutzer.
Yandex fügt die Beobachtung hinzu, die dies bei großen Websites dringlich macht: Die Anzahl solcher Seiten ist vergleichbar mit und übertrifft oft die Anzahl der Seiten, für die es sich lohnt, Besucher anzuziehen.
Herausfinden, welche tatsächlich gecrawlt werden
Durchsuchbare Seiten → Ausgeschlossene Seiten, gefiltert nach geringem Wert oder geringer Nachfrage. Yandex weist darauf hin, dass diese Liste zwei verschiedene Dinge enthält:
- Seiten, die Sie tatsächlich in der Suche haben möchten und die verbessert werden müssen.
- Seiten, die nie für Nutzer gedacht waren und die der Robot trotzdem gefunden hat — und diese sollten versteckt werden.
Das Lesen der Liste mit dieser Trennung im Hinterkopf verwandelt einen besorgniserregenden Bericht in zwei konkrete Arbeitsaufträge.
Wie man sie versteckt
Das Instrument hängt vom Ziel ab. Disallow in robots.txt stoppt das Crawlen und spart Kapazität. noindex hält die Seite aus den Ergebnissen heraus und erlaubt dem Roboter gleichzeitig, sie zu lesen. Die Autorisierung beseitigt die Frage für Seiten, die niemals öffentlich sein sollten, völlig. Die beiden dürfen nicht auf derselben URL kombiniert werden — eine blockierte Seite kann nicht gelesen werden, daher wird ihr noindex niemals gesehen.
Die praktische Priorität
Auf einer Katalog-Website sind die wertvollsten Ausschlüsse Filter- und Sortierkombinationen, interne Suchergebnisse sowie Warenkorb- und Vergleichsseiten. Diese Gruppe verbraucht normalerweise das Crawl-Budget, und sie zu blockieren ist die Arbeit eines einzigen Nachmittags mit messbarem Effekt darauf, wie schnell neue Produkte erscheinen.
So setzen wir das um
The two-lists reading of the low-value report is how we run this: half the entries are usually pages the client wants and needs to improve, the other half are pages nobody meant to publish. Separating them takes twenty minutes and produces a content plan and a robots.txt change instead of a vague worry about a large number.
Verwandte Leistungen