Seitenstruktur

Der Roboter findet Seiten, indem er Links folgt. Yandex stellt die Konsequenz ohne Umschweife fest: ein Dokument, auf das keine Links verweisen, wird niemals entdeckt und bei der Suche ignoriert. Die Struktur ist daher keine ästhetische Angelegenheit.

Die sechs Regeln

1. Behalten Sie eine klare Linkstruktur bei. Jedes Dokument gehört zu einem Abschnitt und muss über einen echten <a href> Link erreichbar sein. Yandex fügt eine Tatsache hinzu, die man bei der Planung berücksichtigen sollte: Die Indexierungszeit hängt teilweise von der Verschachtelungstiefe ab – je tiefer eine Seite liegt, desto länger kann es dauern, bis sie aufgenommen wird. Die meisten Besucher kommen auch über die Startseite, da eine Domain leichter zu merken ist als eine interne URL.
2. Verwenden Sie eine Sitemap bei großen Projekten, um dem Roboter zu helfen, Dokumente zu finden und zu analysieren.
3. Beschränken Sie die Indexierung technischer Seiten. Duplikate, interne Suchergebnisse, Statistikseiten – Yandex erklärt genau, warum dies wichtig ist: Solche Seiten werden ständig hinzugefügt und aktualisiert, daher werden sie oft gecrawlt, während Seiten mit wichtigen Informationen unbemerkt bleiben. Dies ist das Argument des Crawl-Budgets, ausgedrückt in den eigenen Worten der Suchmaschine.
4. Geben Sie jeder Seite eine eindeutige, beschreibende URL. Transliteration hilft dem Roboter, das Thema abzuleiten; das gegebene Beispiel zeigt, wie viel eine gut geformte URL kommuniziert, bevor die Seite überhaupt abgerufen wird.
5. Stellen Sie Textlinks zu Abschnitten bereit, damit der Roboter lernt, was sie enthalten.
6. Überprüfen Sie Symlinks damit URLs nicht unendlich wachsen können. Seiten mit wiederholten Token – example.com/vasya/vasya/vasya/ – werden möglicherweise überhaupt nicht indexiert. Dies ist die klassische Falle des unendlichen Raums, die durch relative Links in einer falsch gehandhabten Vorlage entsteht.

Das Kodierungsdetail

Verwenden Sie dieselbe Kodierung für Seiten und für kyrillische URLs. Wenn der Roboter href="/корзина" auf einer UTF-8-Seite findet, speichert er den Link in dieser Kodierung, daher muss die Seite unter dem prozentkodierten Äquivalent erreichbar sein. Eine Nichtübereinstimmung hier führt zu Links, die im Browser funktionieren, aber für den Roboter einen 404-Fehler erzeugen.

Was damit zu tun ist

Überprüfen Sie drei Dinge auf jeder Website: dass jede Seite, die eine Indexierung wert ist, über einen einfachen Link erreichbar ist, dass nichts Wichtiges tiefer als drei oder vier Ebenen liegt und dass Filter- und Such-URLs ausgeschlossen sind. Diese drei decken das meiste ab, was auf dieser Seite beschrieben wird und was schiefgehen kann.